KR20220145743A

KR20220145743A - Electronic apparatus and controlling method thereof

Info

Publication number: KR20220145743A
Application number: KR1020210144246A
Authority: KR
Inventors: 박재성; 김지만; 우준희; 정성운; 최정화
Original assignee: 삼성전자주식회사
Priority date: 2021-04-22
Filing date: 2021-10-27
Publication date: 2022-10-31

Abstract

Disclosed is an electronic device to perform color correction operations related to image projection. According to the present invention, the electronic device comprises: a memory storing a first pattern image and a second pattern image; a communication interface communicating with an external terminal device; a projection unit; and a processor controlling the projection unit to project the first pattern image on a screen member located on a projection surface, acquiring conversion information on the basis of a first captured image and the first pattern image when the first captured image of the screen member is received from the external terminal device through the communication interface, controlling the projection unit to project the second pattern image on the projection surface, and performing color correction according to characteristics of the projection surface on the basis of a second captured image, the second pattern image, and the conversion information when the second captured image of the projection surface is received from the external terminal device through the communication interface.

Description

ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF

본 개시는 프로젝션부를 포함하는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 영상 투사와 관련된 컬러 보정 동작을 수행하는 전자 장치 및 그 제어방법에 대한 것이다.The present disclosure relates to an electronic device including a projection unit and a method for controlling the same, and more particularly, to an electronic device for performing a color correction operation related to image projection and a method for controlling the same.

프로젝션부를 통해 영상을 투사하는 전자 장치(예를 들어, 프로젝터)는 벽이나 천정과 같이 특정 면이 스크린이 될 수 있다. 전용 스크린이 아닌 경우 영상이 투사되는 스크린의 색상이 표준 백색이 아닐 수 있다. 따라서, 스크린의 색상이 표준 백색이 아니면 원본 영상의 색상이 그대로 표시되지 않는다는 문제점이 있다. 예를 들어, 스크린의 색상이 회색이라고 가정한다. 회색 투사면에 백색 영상이 투사되는 경우, 사용자는 백색 영상이 아닌 옅은 회색 영상으로 인식할 가능성이 있다.In an electronic device (eg, a projector) that projects an image through the projector, a specific surface such as a wall or a ceiling may be a screen. If it is not a dedicated screen, the color of the screen on which the image is projected may not be standard white. Therefore, there is a problem in that the color of the original image is not displayed as it is if the color of the screen is not the standard white. For example, suppose the color of the screen is gray. When a white image is projected on the gray projection surface, there is a possibility that the user perceives it as a light gray image instead of a white image.

스크린의 색상이 사용자 입장에서 백색이라 하더라도, 표준 백색과 완전히 일치하지 않을 수 있다. 전용 스크린을 이용하지 않는 경우, 사용자는 원본 색상과 다른 색상을 갖는 영상을 인식하는 문제가 발생할 수 있다.Even if the color of the screen is white from the point of view of the user, it may not completely match the standard white. If the dedicated screen is not used, the user may have a problem in recognizing an image having a color different from the original color.

또한, 전용 스크린을 이용한다 하더라도 시간이 지남에 따라 전용 스크린의 색상이 변색될 가능성이 존재할 수 있다. 따라서, 사용자는 변색된 투사면에 투사된 원본 색상과 다른 색상의 영상을 인식하는 문제가 발생할 수 있다.Also, even if the dedicated screen is used, there may be a possibility that the color of the dedicated screen is discolored over time. Accordingly, the user may have a problem in recognizing an image having a color different from the original color projected on the discolored projection surface.

본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 패턴 영상을 스크린 부재에 출력하여 색 공간 변환 정보를 획득하고, 패턴 영상을 투사면에 출력하여 투사면에 적합한 컬러 보정을 수행하는 전자 장치 및 그의 제어 방법을 제공함에 있다.The present disclosure is devised to improve the above problems, and an object of the present disclosure is to obtain color space conversion information by outputting a pattern image to a screen member, and output the pattern image to the projection surface to perform color correction suitable for the projection surface To provide an electronic device and a method for controlling the same.

상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는 제1 패턴 영상 및 제2 패턴 영상을 저장하는 메모리, 외부 단말 장치와 통신하는 통신 인터페이스, 프로젝션부 및 투사면에 위치한 스크린 부재에 상기 제1 패턴 영상을 투사하도록 상기 프로젝션부를 제어하고, 상기 통신 인터페이스를 통해 상기 외부 단말 장치로부터 상기 스크린 부재가 촬영된 제1 촬영 영상이 수신되면, 상기 제1 촬영 영상 및 상기 제1 패턴 영상에 기초하여 변환 정보를 획득하고, 상기 투사면에 상기 제2 패턴 영상을 투사하도록 상기 프로젝션부를 제어하고, 상기 통신 인터페이스를 통해 상기 외부 단말 장치로부터 상기 투사면이 촬영된 제2 촬영 영상이 수신되면, 상기 제2 촬영 영상, 상기 제2 패턴 영상 및 상기 변환 정보에 기초하여 상기 투사면의 특성에 따른 컬러 보정을 수행하는 프로세서를 포함한다.The electronic device according to the present embodiment for achieving the above object includes a memory for storing a first pattern image and a second pattern image, a communication interface for communicating with an external terminal device, a projection unit, and a screen member located on the projection surface. Controls the projection unit to project one pattern image, and when the first captured image of the screen member is received from the external terminal device through the communication interface, based on the first captured image and the first pattern image Obtaining conversion information, controlling the projection unit to project the second pattern image on the projection surface, and receiving the second photographed image of the projection surface from the external terminal device through the communication interface, the second and a processor configured to perform color correction according to characteristics of the projection surface based on the second captured image, the second pattern image, and the conversion information.

한편, 상기 변환 정보는 색 공간 변환 정보이고, 상기 프로세서는 상기 제1 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있고, 상기 제1 촬영 영상 및 상기 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 상기 프로젝션부의 특성에 따른 상기 색 공간 변환 정보를 획득할 수 있다.Meanwhile, the conversion information may be color space conversion information, the processor may obtain color space information corresponding to the first pattern image, and may obtain the first captured image and color space information corresponding to the first pattern image. Based on this, the color space conversion information according to the characteristics of the projector may be acquired.

한편, 상기 프로세서는 상기 제2 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있고, 상기 제2 촬영 영상, 상기 제2 패턴 영상에 대응되는 색 공간 정보 및 상기 색 공간 변환 정보에 기초하여 상기 투사면의 특성에 따른 컬러 보정을 수행할 수 있다.Meanwhile, the processor may obtain color space information corresponding to the second pattern image, and may be configured to obtain the projection image based on the second captured image, color space information corresponding to the second pattern image, and the color space conversion information. Color correction may be performed according to the characteristics of the slope.

한편, 상기 프로세서는 상기 제1 촬영 영상에 대응되는 RGB 정보와 상기 제1 패턴 영상에 대응되는 XYZ색 공간 정보에 기초하여 상기 색 공간 변환 정보를 획득할 수 있다.Meanwhile, the processor may acquire the color space conversion information based on RGB information corresponding to the first captured image and XYZ color space information corresponding to the first pattern image.

한편, 상기 변환 정보는 RGB 정보를 XYZ 색 공간 정보로 변환하는 색 공간 변환 매트릭스일 수 있다.Meanwhile, the conversion information may be a color space conversion matrix that converts RGB information into XYZ color space information.

한편, 상기 프로세서는 상기 변환 정보에 기초하여 상기 제2 촬영 영상에 대응되는 RGB 정보를 XYZ 색 공간 정보로 변환할 수 있고, 상기 제2 촬영 영상에 대응되는 XYZ색 공간 정보 및 상기 제2 패턴 영상에 대응되는 XYZ색 공간 정보 간 컬러 차이를 획득할 수 있고, 상기 획득된 컬러 차이에 기초하여 상기 컬러 보정을 수행할 수 있다.Meanwhile, the processor may convert RGB information corresponding to the second captured image into XYZ color space information based on the conversion information, and may include XYZ color space information corresponding to the second captured image and the second pattern image. A color difference between the XYZ color space information corresponding to may be obtained, and the color correction may be performed based on the obtained color difference.

한편, 상기 프로세서는 상기 획득된 컬러 차이에 기초하여 RGB 신호와 관련된 게인값 또는 오프셋 중 적어도 하나를 변경할 수 있다.Meanwhile, the processor may change at least one of a gain value or an offset related to an RGB signal based on the obtained color difference.

한편, 상기 프로세서는 상기 제1 촬영 영상에 상기 스크린 부재와 관련된 기 설정된 오브젝트가 포함된 것으로 식별되면, 상기 제1 촬영 영상에 기초하여 상기 변환 정보를 획득할 수 있고, 상기 제1 촬영 영상에 상기 스크린 부재와 관련된 기 설정된 오브젝트가 포함되지 않은 것으로 식별되면, 상기 스크린 부재가 인식되지 않는다는 정보를 포함하는 UI를 투사하도록 상기 프로젝션부를 제어할 수 있다.Meanwhile, when it is identified that the first captured image includes a preset object related to the screen member, the processor may obtain the conversion information based on the first captured image, and If it is identified that a preset object related to the screen member is not included, the projector may be controlled to project a UI including information indicating that the screen member is not recognized.

한편, 상기 제1 패턴 영상은 White 패턴 영상, Red 패턴 영상, Green 패턴 영상 또는 Blue패턴 영상 중 적어도 하나를 포함할 수 있고, 상기 제2 패턴 영상은 White 패턴 영상을 포함할 수 있다.Meanwhile, the first pattern image may include at least one of a white pattern image, a red pattern image, a green pattern image, or a blue pattern image, and the second pattern image may include a white pattern image.

한편, 상기 프로세서는 상기 제1 패턴 영상에 포함된 복수의 패턴 영상 중 상기 White 패턴 영상이 가장 먼저 투사되고 나머지 패턴 영상이 순차적으로 투사되도록 상기 프로젝션부를 제어할 수 있다.Meanwhile, the processor may control the projection unit such that the white pattern image is first projected among the plurality of pattern images included in the first pattern image and the remaining pattern images are sequentially projected.

본 실시 예에 따른 제1 패턴 영상 및 제2 패턴 영상을 저장할 수 있고 외부 단말 장치와 통신하는 전자 장치의 제어 방법에 있어서, 투사면에 위치한 스크린 부재에 상기 제1 패턴 영상을 투사하는 단계, 상기 외부 단말 장치로부터 상기 스크린 부재가 촬영된 제1 촬영 영상이 수신되면, 상기 제1 촬영 영상 및 상기 제1 패턴 영상에 기초하여 변환 정보를 획득하는 단계, 상기 투사면에 상기 제2 패턴 영상을 투사하는 단계 및 상기 외부 단말 장치로부터 상기 투사면이 촬영된 제2 촬영 영상이 수신되면, 상기 제2 촬영 영상, 상기 제2 패턴 영상 및 상기 변환 정보에 기초하여 상기 투사면의 특성에 따른 컬러 보정을 수행하는 단계를 포함한다.In the control method of an electronic device capable of storing a first pattern image and a second pattern image and communicating with an external terminal device according to the present embodiment, projecting the first pattern image on a screen member located on a projection surface; When the first captured image of the screen member is received from the external terminal device, obtaining conversion information based on the first captured image and the first pattern image, and projecting the second pattern image on the projection surface and when the second captured image of the projection surface is received from the external terminal device, color correction according to the characteristics of the projection surface is performed based on the second captured image, the second pattern image, and the conversion information. comprising the steps of performing

한편, 상기 변환 정보는 색 공간 변환 정보이고, 상기 변환 정보를 획득하는 단계는 상기 제1 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있고, 상기 제1 촬영 영상 및 상기 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 상기 전자 장치에 포함된 프로젝션부의 특성에 따른 상기 색 공간 변환 정보를 획득할 수 있다.Meanwhile, the conversion information is color space conversion information, and the obtaining of the conversion information may include obtaining color space information corresponding to the first pattern image, and corresponding to the first captured image and the first pattern image. The color space conversion information according to the characteristics of the projection unit included in the electronic device may be acquired based on the obtained color space information.

한편, 상기 컬러 보정을 수행하는 단계는 상기 제2 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있고, 상기 제2 촬영 영상, 상기 제2 패턴 영상에 대응되는 색 공간 정보 및 상기 색 공간 변환 정보에 기초하여 상기 투사면의 특성에 따른 컬러 보정을 수행할 수 있다.Meanwhile, the performing of the color correction may include obtaining color space information corresponding to the second pattern image, and the second captured image, color space information corresponding to the second pattern image, and color space conversion information. Based on this, color correction according to the characteristics of the projection surface may be performed.

한편, 상기 변환 정보를 획득하는 단계는 상기 제1 촬영 영상에 대응되는 RGB 정보와 상기 제1 패턴 영상에 대응되는 XYZ색 공간 정보에 기초하여 상기 색 공간 변환 정보를 획득할 수 있다.Meanwhile, the obtaining of the conversion information may include obtaining the color space conversion information based on RGB information corresponding to the first captured image and XYZ color space information corresponding to the first pattern image.

한편, 상기 컬러 보정을 수행하는 단계는 상기 변환 정보에 기초하여 상기 제2 촬영 영상에 대응되는 RGB 정보를 XYZ 색 공간 정보로 변환할 수 있고, 상기 제2 촬영 영상에 대응되는 XYZ색 공간 정보 및 상기 제2 패턴 영상에 대응되는 XYZ색 공간 정보 간 컬러 차이를 획득할 수 있고, 상기 획득된 컬러 차이에 기초하여 상기 컬러 보정을 수행할 수 있다.Meanwhile, the performing of the color correction may include converting RGB information corresponding to the second captured image into XYZ color space information based on the conversion information, XYZ color space information corresponding to the second captured image, and A color difference between XYZ color space information corresponding to the second pattern image may be obtained, and the color correction may be performed based on the obtained color difference.

한편, 상기 컬러 보정을 수행하는 단계는 상기 획득된 컬러 차이에 기초하여 RGB 신호와 관련된 게인값 또는 오프셋 중 적어도 하나를 변경할 수 있다.Meanwhile, the performing of the color correction may include changing at least one of a gain value or an offset related to an RGB signal based on the obtained color difference.

한편, 상기 제어 방법은 상기 제1 촬영 영상에 상기 스크린 부재와 관련된 기 설정된 오브젝트가 포함된 것으로 식별되면, 상기 제1 촬영 영상 및 상기 제1 패턴 영상에 기초하여 상기 변환 정보를 획득하는 단계 및 상기 제1 촬영 영상에 상기 스크린 부재와 관련된 기 설정된 오브젝트가 포함되지 않은 것으로 식별되면, 상기 스크린 부재가 인식되지 않는다는 정보를 포함하는 UI를 투사하는 단계를 더 포함할 수 있다.Meanwhile, in the control method, when it is identified that a preset object related to the screen member is included in the first captured image, obtaining the conversion information based on the first captured image and the first pattern image; The method may further include projecting a UI including information indicating that the screen member is not recognized when it is identified that a preset object related to the screen member is not included in the first captured image.

한편, 상기 제1 패턴 영상을 투사하는 단계는 상기 제1 패턴 영상에 포함된 복수의 패턴 영상 중 상기 White 패턴 영상을 가장 먼저 투사할 수 있고 나머지 패턴 영상을 순차적으로 투사할 수 있다.Meanwhile, in the projecting of the first pattern image, the white pattern image may be first projected among a plurality of pattern images included in the first pattern image, and the remaining pattern images may be sequentially projected.

도 1은 본 개시의 일 실시 예에 따른 영상 투사 동작 및 영상 촬영 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 3은 도 2의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 4는 컬러 보정 동작을 수행하는 다양한 실시 예를 설명하기 위한 표이다.
도 5는 제1 실시 예에 따른 컬러 보정 동작을 설명하기 위한 도면이다.
도 6은 제2 실시 예에 따른 컬러 보정 동작을 설명하기 위한 도면이다.
도 7은 제3 실시 예에 따른 컬러 보정 동작을 설명하기 위한 도면이다.
도 8은 제4 실시 예에 따른 컬러 보정 동작을 설명하기 위한 도면이다.
도 9는 제1 실시 예 및 제3 실시 예에 따른 스크린 부재 이용 동작을 설명하기 위한 도면이다.
도 10은 지2 실시 예 및 제4 실시 예에 따른 스크린 부재 이용 동작을 설명하기 위한 도면이다.
도 11은 색 공간 변환 매트릭스를 생성하는 동작을 설명하기 위한 도면이다.
도 12는 컬러 보정 결과를 투사하는 동작을 설명하기 위한 도면이다.
도 13은 컬러 보정 결과에 대응되는 사용자 행위를 가이드하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시 예에 따라, 컬러 보정 이전 투사와 컬러 보정 이후 투사를 비교하는 동작을 설명하기 위한 도면이다.
도 15는 다른 실시 예에 따라, 컬러 보정 이전 투사와 컬러 보정 이후 투사를 비교하는 동작을 설명하기 위한 도면이다.
도 16은 전자 장치와 연결 가능한 단말 장치와 관련된 정보를 투사하는 동작을 설명하기 위한 도면이다.
도 17은 색 공간 변환 매트릭스를 획득하는 동작 및 컬러 보정 동작을 수행하는 전체 과정을 간략히 설명하기 위한 흐름도이다.
도 18은 색 공간 변환 매트릭스를 획득하는 동작을 구체적으로 설명하기 위한 흐름도이다.
도 19는 컬러 보정 동작을 구체적으로 설명하기 위한 흐름도이다.
도 20은 스크린 부재에 기 설정된 오브젝트가 포함되어 있는지 식별하는 동작을 설명하기 위한 흐름도이다.
도 21은 일 실시 예에 따른 스크린 부재 식별 동작을 설명하기 위한 도면이다.
도 22는 다른 실시 예에 따른 스크린 부재 식별 동작을 설명하기 위한 도면이다.
도 23은 컬러 보정 동작을 전자 장치에서 수행하는 실시 예를 설명하기 위한 흐름도이다.
도 24는 컬러 보정 동작을 단말 장치에서 수행하는 실시 예를 설명하기 위한 흐름도이다.
도 25는 스트리밍 데이터를 이용하여 컬러 보정 동작을 수행하는 실시 예를 설명하기 위한 흐름도이다.
도 26은 전자 장치, 단말 장치 및 서버를 포함하는 시스템을 설명하기 위한 도면이다.
도 27은 촬영 영상에 대응되는 XYZ 색 공간 정보를 획득하는데 이용되는 색 공간 변환 매트릭스를 획득하는 과정을 설명하기 위한 도면이다.
도 28은 촬영 영상에 대응되는 RGB 정보와 촬영 영상에 대응되는 XYZ 색 공간 정보를 설명하기 위한 도면이다.
도 29는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.1 is a view for explaining an image projection operation and an image capturing operation according to an embodiment of the present disclosure.
2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
FIG. 3 is a block diagram illustrating a detailed configuration of the electronic device of FIG. 2 .
4 is a table for explaining various embodiments of performing a color correction operation.
5 is a diagram for explaining a color correction operation according to the first embodiment.
6 is a diagram for explaining a color correction operation according to the second embodiment.
7 is a diagram for explaining a color correction operation according to the third embodiment.
8 is a diagram for explaining a color correction operation according to the fourth embodiment.
9 is a view for explaining an operation of using a screen member according to the first and third embodiments.
10 is a view for explaining an operation of using a screen member according to the second and fourth embodiments.
11 is a diagram for explaining an operation of generating a color space conversion matrix.
12 is a diagram for explaining an operation of projecting a color correction result.
13 is a diagram for explaining an operation of guiding a user action corresponding to a color correction result.
14 is a diagram for explaining an operation of comparing projection before color correction and projection after color correction, according to an embodiment.
15 is a diagram for explaining an operation of comparing projection before color correction and projection after color correction, according to another exemplary embodiment.
16 is a diagram for explaining an operation of projecting information related to a terminal device connectable to an electronic device.
17 is a flowchart for briefly explaining an entire process of obtaining a color space conversion matrix and performing a color correction operation.
18 is a flowchart for specifically explaining an operation of obtaining a color space conversion matrix.
19 is a flowchart for describing a color correction operation in detail.
20 is a flowchart illustrating an operation of identifying whether a preset object is included in a screen member.
21 is a view for explaining an operation of identifying a screen member according to an exemplary embodiment.
22 is a view for explaining an operation of identifying a screen member according to another exemplary embodiment.
23 is a flowchart illustrating an embodiment in which a color correction operation is performed in an electronic device.
24 is a flowchart illustrating an embodiment in which a color correction operation is performed in a terminal device.
25 is a flowchart illustrating an embodiment of performing a color correction operation using streaming data.
26 is a diagram for explaining a system including an electronic device, a terminal device, and a server.
27 is a diagram for explaining a process of obtaining a color space conversion matrix used to obtain XYZ color space information corresponding to a captured image.
28 is a diagram for explaining RGB information corresponding to a captured image and XYZ color space information corresponding to a captured image.
29 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.Terms used in the embodiments of the present disclosure have been selected as currently widely used general terms as possible while considering the functions in the present disclosure, but this may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, etc. . In addition, in specific cases, there are also terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding disclosure. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the contents of the present disclosure, rather than the simple name of the term.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In the present specification, expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.

A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.The expression “at least one of A and/or B” is to be understood as indicating either “A” or “B” or “A and B”.

본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.As used herein, expressions such as "first," "second," "first," or "second," can modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.A component (eg, a first component) is "coupled with/to (operatively or communicatively)" to another component (eg, a second component) When referring to "connected to", it should be understood that a component may be directly connected to another component or may be connected through another component (eg, a third component).

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprises" or "consisting of" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, and are intended to indicate that one or more other It is to be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In the present disclosure, a "module" or "unit" performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software. In addition, a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware. can be

본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.In this specification, the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) using the electronic device.

이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.Hereinafter, an embodiment of the present disclosure will be described in more detail with reference to the accompanying drawings.

도 1은 본 개시의 일 실시 예에 따른 영상 투사 동작 및 영상 촬영 동작을 설명하기 위한 도면이다.1 is a view for explaining an image projection operation and an image capturing operation according to an embodiment of the present disclosure.

여기서, 전자 장치(100)는 프로젝터 기능을 수행하는 다양한 장치를 의미할 수 있다. 여기서, 전자 장치(100)는 프로젝션부(120)를 포함할 수 있다. 여기서, 프로젝션부(120)는 특정 영상을 투사하는 하드웨어를 의미할 수 있다. 예를 들어, 프로젝션부(120)는 영상 투사 렌즈를 의미할 수 있다.Here, the electronic device 100 may refer to various devices that perform a projector function. Here, the electronic device 100 may include the projection unit 120 . Here, the projection unit 120 may refer to hardware for projecting a specific image. For example, the projection unit 120 may mean an image projection lens.

여기서, 전자 장치(100)는 프로젝션부(120)를 이용하여 스크린(10)에 영상(20)를 투사할 수 있다.Here, the electronic device 100 may project the image 20 on the screen 10 by using the projection unit 120 .

여기서, 단말 장치(200)는 투사된 영상(20)를 촬영할 수 있다. 단말 장치(200)는 카메라(210)를 포함할 수 있다. 여기서, 단말 장치(200)는 카메라(210)를 이용하여 영상(20)를 촬영할 수 있다.Here, the terminal device 200 may photograph the projected image 20 . The terminal device 200 may include a camera 210 . Here, the terminal device 200 may capture the image 20 using the camera 210 .

일 실시 예에 따라, 단말 장치(200)는 투사된 영상(20)을 포함하는 투사면을 촬영할 수 있다. 사용자는 투사된 영상(20)이 투사된 영역뿐 아니라 이외의 영역을 포함하여 촬영할 수 있다. 따라서, 전자 장치(100)는 사용자가 촬영한 촬영 영상에서 투사된 영상(20)이 포함되는 영역만을 선택적으로 이용할 수 있다.According to an embodiment, the terminal device 200 may photograph a projection surface including the projected image 20 . The user may capture the projected image 20 including the projected area as well as areas other than the projected area. Accordingly, the electronic device 100 may selectively use only a region including the projected image 20 in the captured image taken by the user.

다른 실시 예에 따라, 단말 장치(200)는 투사된 영상(20)만을 촬영할 수 있다. 실질적으로 컬러 보정을 위해 필요한 정보는 투사된 영상(20)에 대응되는 부분이므로, 사용자는 투사된 영상(20)만을 촬영할 수 있다. 전자 장치(100)는 사용자가 투사된 영상(20)만을 촬영하도록 가이드하기 위한 정보를 제공할 수 있다.According to another embodiment, the terminal device 200 may photograph only the projected image 20 . Since the information necessary for substantially color correction is a portion corresponding to the projected image 20 , the user can photograph only the projected image 20 . The electronic device 100 may provide information for guiding the user to photograph only the projected image 20 .

도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)를 도시한 블록도이다.2 is a block diagram illustrating an electronic device 100 according to an embodiment of the present disclosure.

도 2를 참조하면, 전자 장치(100)는 메모리(110), 프로젝션부(120) 및 프로세서(130) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 2 , the electronic device 100 may include at least one of a memory 110 , a projection unit 120 , and a processor 130 .

메모리(110)는 전자 장치(100)에 관한 적어도 하나의 명령이 저장될 수 있다. 그리고, 메모리(110)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(110)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(110)는 플래시 메모리 (Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.The memory 110 may store at least one command related to the electronic device 100 . In addition, an operating system (O/S) for driving the electronic device 100 may be stored in the memory 110 . In addition, various software programs or applications for operating the electronic device 100 according to various embodiments of the present disclosure may be stored in the memory 110 . In addition, the memory 110 may include a semiconductor memory such as a flash memory or a magnetic storage medium such as a hard disk.

또한, 메모리(110)는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(130)는 메모리(110)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(110)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.In addition, the memory 110 may store various software modules for operating the electronic device 100 according to various embodiments of the present disclosure, and the processor 130 executes various software modules stored in the memory 110 . An operation of the electronic device 100 may be controlled. That is, the memory 110 is accessed by the processor 130 , and reading/writing/modification/deletion/update of data by the processor 130 may be performed.

또한, 메모리(110)는 프로세서(130) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.In addition, the memory 110 is a ROM (not shown), a RAM (not shown) in the processor 130 or a memory card (not shown) mounted in the electronic device 100 (eg, a micro SD card, a memory stick). may be used in the meaning of including

한편, 메모리(110)는 제1 패턴 영상 및 제2 패턴 영상 정보를 저장할 수 있다. 구체적으로, 메모리(110)는 제1 패턴 영상, 제1 패턴 영상에 대응되는 RGB 정보, 제1 패턴 영상에 대응되는 색 공간 정보(예를 들어, XYZ 색 공간 정보), 제2 패턴 영상에 대응되는 색 공간 정보(예를 들어, XYZ 색 공간 정보)를 저장할 수 있다.Meanwhile, the memory 110 may store the first pattern image and the second pattern image information. Specifically, the memory 110 corresponds to the first pattern image, RGB information corresponding to the first pattern image, color space information (eg, XYZ color space information) corresponding to the first pattern image, and the second pattern image. color space information (eg, XYZ color space information) may be stored.

프로젝션부(120)는 전자 장치(100)에서 출력하고자 하는 이미지를 투사면에 출력할 수 있다. 프로젝션부(120)는 프로젝션 렌즈를 포함할 수 있다.The projection unit 120 may output an image to be output by the electronic device 100 on the projection surface. The projection unit 120 may include a projection lens.

프로젝션부(120)는 이미지를 스크린(또는 투사면)에 출력하는 기능을 수행할 수 있다. 프로젝션부(120)는 영상을 외부로 투사하는 구성이다. 본 개시의 일 실시 예에 따른, 프로젝션부(120)는 다양한 투사 방식(예를 들어, CRT(cathode-ray tube) 방식, LCD(Liquid Crystal Display) 방식, DLP(Digital Light Processing) 방식, 레이저 방식 등)으로 구현될 수 있다.The projection unit 120 may perform a function of outputting an image to the screen (or projection surface). The projection unit 120 is configured to project an image to the outside. According to an embodiment of the present disclosure, the projection unit 120 includes various projection methods (eg, cathode-ray tube (CRT) method, liquid crystal display (LCD) method, digital light processing (DLP) method, laser method). etc.) can be implemented.

한편, 프로젝션부(120)는 프로세서(130)의 제어에 의해 출력 이미지를 조절하기 위한 다양한 기능을 수행할 수 있다. 예를 들어, 프로젝션부(120)는 줌, 키스톤, 퀵코너(4코너)키스톤, 렌즈 시프트 등의 기능을 수행할 수 있다.Meanwhile, the projection unit 120 may perform various functions for adjusting the output image under the control of the processor 130 . For example, the projection unit 120 may perform functions such as zoom, keystone, quick-corner (4-corner) keystone, and lens shift.

프로세서(130)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어하는 기능을 한다.The processor 130 may perform an overall control operation of the electronic device 100 . Specifically, the processor 130 functions to control the overall operation of the electronic device 100 .

프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(130)는 메모리(110)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.The processor 130 may be implemented as a digital signal processor (DSP), a microprocessor (microprocessor), or a time controller (TCON) for processing a digital signal, but is not limited thereto, and a central processing unit ( central processing unit (CPU), micro controller unit (MPU), micro processing unit (MPU), controller, application processor (AP), graphics-processing unit (GPU) or communication processor (CP)), may include one or more of an ARM processor, or may be defined by a corresponding term In addition, the processor 130 is a SoC (System on Chip) or LSI (large scale integration) with a built-in processing algorithm. It may be implemented in the form of a field programmable gate array (FPGA), and the processor 130 may perform various functions by executing computer executable instructions stored in the memory 110 . have.

프로세서(130)는 투사면에 위치한 스크린 부재(30)에 제1 패턴 영상을 투사하도록 프로젝션부(120)를 제어하고, 통신 인터페이스(150)를 통해 외부 단말 장치로부터 스크린 부재(30)가 촬영된 제1 촬영 영상이 수신되면, 제1 촬영 영상 및 제1 패턴 영상에 기초하여 변환 정보를 획득하고, 투사면에 제2 패턴 영상을 투사하도록 프로젝션부(120)를 제어하고, 통신 인터페이스(150)를 통해 외부 단말 장치로부터 투사면이 촬영된 제2 촬영 영상이 수신되면, 제2 촬영 영상, 제2 패턴 영상 및 변환 정보에 기초하여 투사면의 특성에 따른 컬러 보정을 수행할 수 있다.The processor 130 controls the projection unit 120 to project the first pattern image on the screen member 30 located on the projection surface, and the screen member 30 is photographed from the external terminal device through the communication interface 150 . When the first captured image is received, conversion information is obtained based on the first captured image and the first pattern image, the projection unit 120 is controlled to project the second pattern image on the projection surface, and the communication interface 150 When the second captured image in which the projection surface is photographed is received from the external terminal device through , color correction according to the characteristics of the projection surface may be performed based on the second photographed image, the second pattern image, and conversion information.

한편, 변환 정보는 색 공간 변환 정보이고, 프로세서(130)는 제1 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있고, 제1 촬영 영상 및 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 프로젝션부(120)의 특성에 따른 색 공간 변환 정보를 획득할 수 있다. 여기서, 메모리(110)는 제1 패턴 영상에 대응되는 색 공간 정보를 저장하고 있을 수 있다.Meanwhile, the conversion information is color space conversion information, the processor 130 may obtain color space information corresponding to the first pattern image, and based on the first captured image and the color space information corresponding to the first pattern image, Color space conversion information according to the characteristics of the projector 120 may be acquired. Here, the memory 110 may store color space information corresponding to the first pattern image.

한편, 프로세서(130)는 제2 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있고, 제2 촬영 영상, 제2 패턴 영상에 대응되는 색 공간 정보 및 색 공간 변환 정보에 기초하여 투사면의 특성에 따른 컬러 보정을 수행할 수 있다. 여기서, 메모리(110)는 제2 패턴 영상에 대응되는 색 공간 정보를 저장하고 있을 수 있다.Meanwhile, the processor 130 may acquire color space information corresponding to the second pattern image, and the characteristics of the projection surface based on the second captured image, color space information corresponding to the second pattern image, and color space conversion information color correction may be performed according to Here, the memory 110 may store color space information corresponding to the second pattern image.

여기서, 프로세서(130)는 스크린 부재(30)에 제1 패턴 영상을 투사하도록 프로젝션부(120)를 제어할 수 있다. 여기서, 스크린 부재(30)를 이용하는 방식이 2개일 수 있다. 일 예로, 스크린 부재(30)는 사용자가 직접 설치하는 부재일 수 있다. 이와 관련된 설명은 도 5 및 도 7에서 기재한다. 다른 예로, 스크린 부재(30)는 전자 장치(100)에 포함된 (또는 부착된) 부재일 수 있다. 이와 관련된 설명은 도 6 및 도 8에서 기재한다.Here, the processor 130 may control the projection unit 120 to project the first pattern image on the screen member 30 . Here, there may be two methods of using the screen member 30 . For example, the screen member 30 may be a member directly installed by the user. A description related thereto is described in FIGS. 5 and 7 . As another example, the screen member 30 may be a member included in (or attached to) the electronic device 100 . A description related thereto is described with reference to FIGS. 6 and 8 .

여기서, 스크린 부재(30)는 백색 반사체를 의미할 수 있으며, 전자 장치(100)의 제조사에서 제공하는 표준 백색을 갖는 반사체를 의미할 수 있다. 전자 장치(100)의 제조사에서 정식으로 만들어진 반사체를 이용해야 정확한 색 공간 변환 정보를 획득할 수 있다. 정식(또는 정품) 반사체가 설치되어 있는 것인지 식별하는 동작은 도 20 내지 도 22에서 기재한다. 여기서, 스크린 부재(30)는 정식 반사체, 정품 반사체, 규격 반사체 등으로 기재될 수 있다.Here, the screen member 30 may mean a white reflector, and may mean a reflector having a standard white color provided by the manufacturer of the electronic device 100 . Accurate color space conversion information may be obtained only by using a reflector officially manufactured by the manufacturer of the electronic device 100 . The operation of identifying whether a regular (or genuine) reflector is installed is described in FIGS. 20 to 22 . Here, the screen member 30 may be described as a regular reflector, a genuine reflector, a standard reflector, or the like.

여기서, 스크린 부재(30)는 표준 색상, 표준 규격 또는 표준 재질 중 적어도 하나의 기준을 만족하는 부재일 수 있다. 여기서, 스크린 부재(30)는 평면일 수 있다.Here, the screen member 30 may be a member that satisfies at least one of a standard color, a standard standard, and a standard material. Here, the screen member 30 may be flat.

여기서, 제1 패턴 영상은 프로젝션부(120)에 의해 투사되는 테스트 패턴 영상일 수 있다. 여기서, 제1 패턴 영상은 White 패턴 영상, Red 패턴 영상, Green 패턴 영상 및 Blue 패턴 영상을 포함할 수 프로세서(114) 있다.Here, the first pattern image may be a test pattern image projected by the projection unit 120 . Here, the first pattern image may include a white pattern image, a red pattern image, a green pattern image, and a blue pattern image.

구체적으로, 제1 패턴 영상을 스크린 부재(30)에 투사된 후, 프로세서(130)는 제1 패턴 영상이 투사된 스크린 부재(30)를 촬영한 제1 촬영 영상을 획득할 수 있다. 여기서, 제1 촬영 영상은 제1 패턴 영상이 투사된 스크린 부재(30)를 포함할 수 있다. 여기서, 촬영 영상을 획득하는 방식이 2개일 수 있다. 일 예로, 촬영 영상은 단말 장치(200)의 카메라에 의해 촬영되고, 전자 장치(100)는 단말 장치(200)로부터 촬영 영상을 수신할 수 있다. 이와 관련된 설명은 도 5 및 도 6에서 기재한다. 다른 예로, 촬영 영상은 전자 장치(100)에 부착된 카메라에 의해 촬영되고, 프로세서(130)는 전자 장치(100)의 카메라에 의해 촬영 영상을 획득할 수 있다. 이와 관련된 설명은 도7 및 도 8에서 기재한다.Specifically, after the first pattern image is projected on the screen member 30 , the processor 130 may acquire a first captured image obtained by photographing the screen member 30 on which the first pattern image is projected. Here, the first captured image may include the screen member 30 on which the first pattern image is projected. Here, there may be two methods of acquiring the captured image. For example, the captured image may be captured by the camera of the terminal device 200 , and the electronic device 100 may receive the captured image from the terminal device 200 . A description related thereto is described in FIGS. 5 and 6 . As another example, the captured image is captured by a camera attached to the electronic device 100 , and the processor 130 may acquire the captured image by the camera of the electronic device 100 . A description related thereto is described in FIGS. 7 and 8 .

여기서, 프로젝션부(120)의 특성은 프로젝션부(120)와 관련된 하드웨어 속성을 의미할 수 있다. 예를 들어, 프로젝션부(120)의 특성은 프로젝션부(120)에 포함된 프로젝션 렌즈의 성능과 관련된 정보를 포함할 수 있다. 따라서, 프로젝션부(120)의 하드웨어 속성에 따라 색 공간 변환 정보가 상이할 수 있다. 프로세서(130)는 제1 촬영 영상 및 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 프로젝션부(120)에 적합한 색 공간 변환 정보를 획득할 수 있다.Here, the characteristics of the projection unit 120 may mean hardware properties related to the projection unit 120 . For example, the characteristics of the projection unit 120 may include information related to the performance of the projection lens included in the projection unit 120 . Accordingly, color space conversion information may be different according to the hardware properties of the projection unit 120 . The processor 130 may obtain color space conversion information suitable for the projector 120 based on the color space information corresponding to the first captured image and the first pattern image.

한편, 프로세서(130)는 제1 패턴 영상 중 White 패턴 영상을 이용하여 사전 보정(pre-calibration) 동작을 수행할 수 있다. 구체적으로, 프로세서(130)는 스크린 부재(30)에 White 패턴 영상을 투사하고, White 패턴 영상이 투사된 스크린 부재(30)를 포함하는 촬영 영상(White 패턴 영상이 포함된 촬영 영상)을 획득할 수 있다. 여기서, 프로세서(130)는 White 패턴 영상이 포함된 촬영 영상과 White 패턴 영상(원본 영상)을 비교하여 프로젝션부(120)의 감도를 조절할 수 있다. 구체적으로, 프로세서(130)는 프로젝션부(120)에 포함된 프로젝션 렌즈의 성능과 관련된 설정값을 조절할 수 있다. 예를 들어, 프로세서(130)는 셔터 스피드 또는 조리개와 관련된 설정값을 변경할 수 있다.Meanwhile, the processor 130 may perform a pre-calibration operation using a white pattern image among the first pattern images. Specifically, the processor 130 projects a white pattern image on the screen member 30, and acquires a photographed image (a photographed image including a white pattern image) including the screen member 30 on which the white pattern image is projected. can Here, the processor 130 may adjust the sensitivity of the projection unit 120 by comparing the captured image including the white pattern image with the white pattern image (original image). Specifically, the processor 130 may adjust a setting value related to the performance of the projection lens included in the projection unit 120 . For example, the processor 130 may change a setting value related to a shutter speed or an aperture.

한편, 프로세서(130)는 제1 패턴 영상 중 Red 패턴 영상, Green 패턴 영상, Blue 패턴 영상을 이용하여 컬러 보정(color calibration)을 수행할 수 있다.Meanwhile, the processor 130 may perform color calibration using a red pattern image, a green pattern image, and a blue pattern image among the first pattern images.

첫째, 프로세서(130)는 스크린 부재(30)에 Red 패턴 영상을 투사하고, Red 패턴 영상이 투사된 스크린 부재(30)를 포함하는 촬영 영상(Red 패턴 영상이 포함된 촬영 영상)을 획득할 수 있다. 그리고, 프로세서(130)는 Red 패턴 영상이 포함된 촬영 영상 및 Red 패턴 영상(원본 영상)을 비교하여 Red 패턴 영상과 관련된 적어도 하나의 연립 방정식을 획득할 수 있다.First, the processor 130 may acquire a photographed image (a photographed image including a red pattern image) including the screen member 30 on which the red pattern image is projected and the red pattern image is projected on the screen member 30 . have. In addition, the processor 130 may obtain at least one simultaneous equation related to the red pattern image by comparing the captured image including the red pattern image and the red pattern image (original image).

둘째, 프로세서(130)는 스크린 부재(30)에 Green 패턴 영상을 투사하고, Green 패턴 영상이 투사된 스크린 부재(30)를 포함하는 촬영 영상(Green 패턴 영상이 포함된 촬영 영상)을 획득할 수 있다. 그리고, 프로세서(130)는 Green 패턴 영상이 포함된 촬영 영상 및 Green 패턴 영상(원본 영상)을 비교하여 Green 패턴 영상과 관련된 적어도 하나의 연립 방정식을 획득할 수 있다.Second, the processor 130 may project a Green pattern image on the screen member 30 and obtain a photographed image (a photographed image including a Green pattern image) including the screen member 30 on which the Green pattern image is projected. have. In addition, the processor 130 may obtain at least one simultaneous equation related to the green pattern image by comparing the captured image including the green pattern image and the green pattern image (original image).

셋째, 프로세서(130)는 스크린 부재(30)에 Blue 패턴 영상을 투사하고, Blue 패턴 영상이 투사된 스크린 부재(30)를 포함하는 촬영 영상(Blue 패턴 영상이 포함된 촬영 영상)을 획득할 수 있다. 그리고, 프로세서(130)는 Blue 패턴 영상이 포함된 촬영 영상 및 Blue 패턴 영상(원본 영상)을 비교하여 Blue 패턴 영상과 관련된 적어도 하나의 연립 방정식을 획득할 수 있다.Third, the processor 130 may project a blue pattern image on the screen member 30 and acquire a photographed image (a photographed image including a blue pattern image) including the screen member 30 on which the blue pattern image is projected. have. In addition, the processor 130 may obtain at least one simultaneous equation related to the blue pattern image by comparing the captured image including the blue pattern image and the blue pattern image (original image).

여기서, 프로세서(130)는 Red 패턴 영상과 관련된 적어도 하나의 연립 방정식, Green 패턴 영상과 관련된 적어도 하나의 연립 방정식 및 Blue 패턴 영상과 관련된 적어도 하나의 연립 방정식에 기초하여 색 공간 변환 정보(색 공간 변환 매트릭스)를 획득할 수 있다.Here, the processor 130 may generate color space conversion information (color space conversion) based on at least one simultaneous equation related to the Red pattern image, at least one simultaneous equation related to the Green pattern image, and at least one simultaneous equation related to the Blue pattern image. matrix) can be obtained.

연립 방정식과 관련된 설명은 도 27에서 기재한다.A description related to the simultaneous equations is given in FIG. 27 .

여기서, 프로세서(130)는 스크린 부재(30)에 투사된 제1 패턴 영상을 포함하는 제1 촬영 영상 및 메모리(110)에 기 저장된 제1 패턴 영상과 관련된 정보에 기초하여 색 공간 변환 정보를 획득할 수 있다. 여기서, 제1 패턴 영상과 관련된 정보는 제1 패턴 영상에 대응되는 색 공간 정보를 포함할 수 있다.Here, the processor 130 obtains color space conversion information based on the first captured image including the first pattern image projected on the screen member 30 and information related to the first pattern image pre-stored in the memory 110 . can do. Here, the information related to the first pattern image may include color space information corresponding to the first pattern image.

여기서, 색 공간 변환 정보는 일반 데이터를 색 공간 데이터로 변환하기 위한 매트릭스를 의미할 수 있다.Here, the color space conversion information may mean a matrix for converting general data into color space data.

한편, 프로세서(130)는 제1 촬영 영상에 대응되는 RGB 정보와 제1 패턴 영상에 대응되는 XYZ색 공간 정보에 기초하여 색 공간 변환 정보를 획득할 수 있다.Meanwhile, the processor 130 may obtain color space conversion information based on RGB information corresponding to the first captured image and XYZ color space information corresponding to the first pattern image.

여기서, 색 공간을 정의하는 다양한 정의가 있을 수 있다. 상술한 설명에서 XYZ를 도시하였지만, 구현 예에 따라 그 밖의 색 공간 정의가 이용될 수 있다.Here, there may be various definitions defining the color space. Although XYZ is shown in the above description, other color space definitions may be used depending on the implementation.

한편, 색 공간 변환 정보는 RGB 정보를 XYZ 색 공간 정보로 변환하는 색 공간 변환 매트릭스일 수 있다. 색 공간 변환 매트릭스를 획득하는 구체적인 동작은 도 17 및 도 18에서 기재한다. 또한, 색 공간 변환 매트릭스를 획득하는 구체적인 계산 동작은 도27 및 도 28에서 기재한다.Meanwhile, the color space conversion information may be a color space conversion matrix that converts RGB information into XYZ color space information. A specific operation of obtaining the color space conversion matrix is described in FIGS. 17 and 18 . Further, specific calculation operations for obtaining the color space conversion matrix are described in Figs.

색 공간 변환 매트릭스가 획득된 후, 프로세서(130)는 스크린(10)에 제2 패턴 영상을 투사할 수 있다. 구체적으로, 색 공간 변환 매트릭스가 획득된 후, 프로세서(130)는 스크린 부재(30)가 존재하지 않는 스크린(10)에 제2 패턴 영상을 투사할 수 있다. 프로세서(130)는 스크린 부재(30)를 촬영한 제1 촬영 영상을 획득하여 색 공간 변환 매트릭스를 획득할 수 있으며, 스크린 부재(30)가 배치되지 않은 스크린(10)을 촬영한 제2 촬영 영상을 획득하여 투사면에 따른 컬러 보정을 수행할 수 있다. 구체적으로, 프로세서(130)는 스크린(10)의 색상으로 인해 원본 이미지의 컬러가 그대로 표현되지 않는 문제를 해결하기 위해 스크린(10)을 촬영하여 컬러 보정을 수행할 수 있다. 결과적으로, 프로세서(130)는 컬러 보정을 통해 투사면에 적합한 투사 이미지를 출력할 수 있다. 그리고, 투사면이 달라지면 컬러 보정도 상이할 수 있다.After the color space conversion matrix is obtained, the processor 130 may project the second pattern image on the screen 10 . Specifically, after the color space conversion matrix is obtained, the processor 130 may project the second pattern image on the screen 10 on which the screen member 30 does not exist. The processor 130 may obtain a color space conversion matrix by acquiring a first photographed image obtained by photographing the screen member 30 , and a second photographed image obtained by photographing the screen 10 on which the screen member 30 is not disposed. can be obtained to perform color correction according to the projection surface. Specifically, the processor 130 may perform color correction by photographing the screen 10 in order to solve the problem that the color of the original image is not expressed as it is due to the color of the screen 10 . As a result, the processor 130 may output a projection image suitable for the projection surface through color correction. In addition, when the projection surface is changed, color correction may also be different.

일 예로, 제1 패턴 영상과 제2 패턴 영상이 동일할 수 있다. 제1 패턴 영상 및 제2 패턴 영상이 동일한 White 패턴 영상일 수 있다. 다른 예로, 제1 패턴 영상과 제2 패턴 영상이 상이할 수 있다. 제1 패턴 영상은 Red 패턴 영상, Green 패턴 영상 또는 Blue 패턴 영상 중 하나일 수 있고 제2 패턴 영상은 White 패턴 영상일 수 있다For example, the first pattern image and the second pattern image may be the same. The first pattern image and the second pattern image may be the same white pattern image. As another example, the first pattern image and the second pattern image may be different. The first pattern image may be one of a red pattern image, a green pattern image, or a blue pattern image, and the second pattern image may be a white pattern image.

여기서, 프로세서(130)는 스크린 부재(30)가 배치되지 않은 상태에서 스크린(10)을 촬영한 제2 촬영 영상을 획득할 수 있다. 그리고, 프로세서(130)는 스크린(10)의 컬러로 인해 왜곡되는 문제를 해결하기 위해 제2 촬영 영상에 기초하여 컬러 보정을 수행할 수 있다.Here, the processor 130 may acquire a second photographed image obtained by photographing the screen 10 in a state in which the screen member 30 is not disposed. In addition, the processor 130 may perform color correction based on the second captured image in order to solve the problem of distortion due to the color of the screen 10 .

여기서, 프로세서(130)는 제2 촬영 영상에 대응되는 RGB 정보를 획득할 수 있다.Here, the processor 130 may obtain RGB information corresponding to the second captured image.

한편, 프로세서(130)는 색 공간 변환 정보(예를 들어, 색 공간 변환 매트릭스)에 기초하여 제2 촬영 영상에 대응되는 RGB 정보를 XYZ 색 공간 정보로 변환하고, 제2 촬영 영상에 대응되는 XYZ색 공간 정보 및 제2 패턴 영상에 대응되는 XYZ색 공간 정보 간 컬러 차이를 획득하고, 획득된 컬러 차이에 기초하여 컬러 보정을 수행할 수 있다.Meanwhile, the processor 130 converts RGB information corresponding to the second captured image into XYZ color space information based on the color space conversion information (eg, a color space conversion matrix), and XYZ corresponding to the second captured image. A color difference between the color space information and the XYZ color space information corresponding to the second pattern image may be obtained, and color correction may be performed based on the obtained color difference.

한편, 프로세서(130)는 획득된 컬러 차이에 기초하여 RGB 신호와 관련된 게인값 또는 오프셋 중 적어도 하나를 변경할 수 있다.Meanwhile, the processor 130 may change at least one of a gain value or an offset related to the RGB signal based on the obtained color difference.

여기서, 프로세서(130)는 색 보정 동작을 수행함으로써 RGB 신호와 관련된 게인값을 변경할 수 있다. 여기서, 게인값은 RGB 신호의 출력값을 곱셈(또는 나눗셈) 연산을 통해 조절하기 위한 요소를 의미할 수 있다.Here, the processor 130 may change a gain value related to the RGB signal by performing a color correction operation. Here, the gain value may mean an element for adjusting the output value of the RGB signal through a multiplication (or division) operation.

여기서, 프로세서(130)는 색 보정 동작을 수행함으로써 RGB 신호와 관련된 오프셋을 변경할 수 있다. 여기서, 오프셋은 RGB 신호의 출력값을 덧셈(또는 뺄셈) 연산을 통해 조절하기 위한 요소를 의미할 수 있다.Here, the processor 130 may change the offset related to the RGB signal by performing a color correction operation. Here, the offset may mean an element for adjusting the output value of the RGB signal through addition (or subtraction) operation.

여기서, RGB 신호의 출력값이 조절되면, 투사된 영상의 휘도, 명암 또는 색상 중 적어도 하나가 변경되어 스크린(또는 투사면)에 적합한 RGB 신호가 출력(또는 투사)될 수 있다.Here, when the output value of the RGB signal is adjusted, at least one of luminance, contrast, or color of the projected image may be changed so that an RGB signal suitable for the screen (or projection surface) may be output (or projected).

한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 RGB 신호를 출력할 수 있다.Meanwhile, the electronic device 100 according to an embodiment of the present disclosure may output an RGB signal.

다만, 본 개시의 다른 실시 예에 따른 전자 장치(100)는 RGB 신호 이외에 다른 형태의 신호를 출력할 수 있다. 예를 들어, 전자 장치(100)는 RGBW 신호, RGBY 신호를 출력할 수 있다. 또한, 전자 장치(100)는 RGB 신호 이외에 Yello, Cyan 또는 Magenta 중 적어도 하나의 신호를 추가적으로 출력할 수 있다. 따라서, 전자 장치(100)는 컬러 보정에 의하여 반드시 RGB 만을 제어하는 것은 아니고 추가 픽셀(또는 서브 픽셀)을 보정할 수 있다.However, the electronic device 100 according to another embodiment of the present disclosure may output a signal other than the RGB signal. For example, the electronic device 100 may output an RGBW signal and an RGBY signal. In addition, the electronic device 100 may additionally output at least one signal among Yello, Cyan, and Magenta in addition to the RGB signal. Accordingly, the electronic device 100 may correct additional pixels (or sub-pixels) without necessarily controlling only RGB by color correction.

한편, 프로세서(130)는 스크린 부재(30)가 제조사에서 만든 표준 스크린 부재(30)인지 확인하는 동작을 수행할 수 있다. 만약, 표준 스크린 부재(30)가 아니라면 색 공간 변환 매트릭스에 일부 오차가 발생할 수 있기 때문이다.Meanwhile, the processor 130 may perform an operation to determine whether the screen member 30 is a standard screen member 30 made by a manufacturer. This is because, if it is not the standard screen member 30, some errors may occur in the color space conversion matrix.

한편, 프로세서(130)는 제1 촬영 영상에 스크린 부재(30)와 관련된 기 설정된 오브젝트가 포함된 것으로 식별되면, 제1 촬영 영상에 기초하여 색 공간 변환 정보를 획득하고, 제1 촬영 영상에 스크린 부재(30)와 관련된 기 설정된 오브젝트가 포함되지 않은 것으로 식별되면, 스크린 부재(30)가 인식되지 않는다는 정보를 포함하는 UI를 투사하도록 프로젝션부(120)를 제어할 수 있다. 이와 관련된 구체적인 동작은 도 20 내지 도 22에서 기술한다.Meanwhile, when it is identified that the first captured image includes a preset object related to the screen member 30 , the processor 130 obtains color space conversion information based on the first captured image and displays the screen on the first captured image. If it is identified that a preset object related to the member 30 is not included, the projection unit 120 may be controlled to project a UI including information that the screen member 30 is not recognized. A detailed operation related thereto will be described with reference to FIGS. 20 to 22 .

한편, 전자 장치(100)가 촬영 영상을 획득하는 방식이 2가지로 나뉠 수 있다.Meanwhile, a method for the electronic device 100 to acquire a captured image may be divided into two types.

일 실시 예에 따라, 전자 장치(100)는 촬영 영상을 외부 장치인 단말 장치(200)로부터 수신할 수 있다. 여기서, 전자 장치(100)는 통신 인터페이스(150)를 더 포함할 수 있고, 프로세서(130)는 외부 단말 장치(200)로부터 제1 촬영 영상 및 제2 촬영 영상을 수신하도록 통신 인터페이스를 제어할 수 있다.According to an embodiment, the electronic device 100 may receive a captured image from the terminal device 200 which is an external device. Here, the electronic device 100 may further include a communication interface 150 , and the processor 130 may control the communication interface to receive the first captured image and the second captured image from the external terminal device 200 . have.

다른 실시 예에 따라, 전자 장치(100)는 전자 장치(100)에 내장된 카메라(140)를 이용하여 촬영 영상을 획득할 수 있다. 여기서, 전자 장치(100)는 카메라(140)를 더 포함하고, 프로세서(130)는 제1 촬영 영상 및 제2 촬영 영상을 획득하도록 카메라(140)를 제어할 수 있다.According to another embodiment, the electronic device 100 may acquire a captured image using the camera 140 built in the electronic device 100 . Here, the electronic device 100 may further include a camera 140 , and the processor 130 may control the camera 140 to acquire the first captured image and the second captured image.

한편, 제1 패턴 영상은 White 패턴 영상, Red 패턴 영상, Green 패턴 영상 또는 Blue패턴 영상 중 적어도 하나를 포함할 수 있고, 제2 패턴 영상은 White 패턴 영상을 포함할 수 있다.Meanwhile, the first pattern image may include at least one of a white pattern image, a red pattern image, a green pattern image, or a blue pattern image, and the second pattern image may include a white pattern image.

한편, 프로세서(130)는 제1 패턴 영상에 포함된 복수의 패턴 영상 중 White 패턴 영상이 가장 먼저 투사되고 나머지 패턴 영상이 순차적으로 투사되도록 프로젝션부(120)를 제어할 수 있다.Meanwhile, the processor 130 may control the projection unit 120 so that a white pattern image is first projected among a plurality of pattern images included in the first pattern image and the remaining pattern images are sequentially projected.

여기서, 제1 패턴 영상은 스크린 부재(30)에 투사되는 영상일 수 있으며, 프로세서(130)는 White 패턴 영상을 우선하여 투사할 수 있다. 그리고, White 패턴 영상이 투사된 스크린 부재(30)를 촬영한 촬영 영상을 획득한 후, 프로세서(130)는 Red 패턴 영상, Green 패턴 영상 또는 Blue패턴 영상을 임의의 순서로 투사할 수 있다. White 패턴 영상이 가장 먼저 출력된다면, Red 패턴 영상, Green 패턴 영상 또는 Blue패턴 영상의 투사 순서는 사용자 설정에 따라 달라질 수 있다.Here, the first pattern image may be an image projected on the screen member 30 , and the processor 130 may project the white pattern image with priority. Then, after acquiring a photographed image of the screen member 30 on which the white pattern image is projected, the processor 130 may project the red pattern image, the green pattern image, or the blue pattern image in an arbitrary order. If the white pattern image is output first, the projection order of the red pattern image, the green pattern image, or the blue pattern image may vary according to a user setting.

여기서, 제1 패턴 영상과 달리 제2 패턴 영상이 White 패턴 영상만으로 출력하는 이유는 스크린(10)의 컬러를 고려하기 위해 백색을 이용하는 것이 컬러 보정에 유용하기 때문이다.Here, the reason that the second pattern image is output only as a white pattern image, unlike the first pattern image, is that it is useful for color correction to use white in consideration of the color of the screen 10 .

한편, 이상에서는 전자 장치(100)를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 3을 참조하여 이하에서 설명한다.Meanwhile, although only a simple configuration constituting the electronic device 100 has been illustrated and described above, various configurations may be additionally provided in implementation. This will be described below with reference to FIG. 3 .

한편, 제1 패턴 영상 및 제2 패턴 영상을 출력하는 방식이 다양할 수 있다.Meanwhile, there may be various methods of outputting the first pattern image and the second pattern image.

일 실시 예에 따라, 제1 패턴 영상 및 제2 패턴 영상은 제1 패턴 영상의 메모리(110)에 저장된 상태일 수 있다. 전자 장치(100)는 기 설정된 이벤트가 발생한 경우 메모리(110)에 저장된 제1 패턴 영상을 출력하거나 메모리(110)에 저장된 제2 패턴 영상을 출력할 수 있다.According to an embodiment, the first pattern image and the second pattern image may be stored in the memory 110 of the first pattern image. When a preset event occurs, the electronic device 100 may output a first pattern image stored in the memory 110 or output a second pattern image stored in the memory 110 .

다른 실시 예에 따라, 제1 패턴 영상 및 제2 패턴 영상은 단말 장치(200)로부터 제공될 수 있다. 구체적으로, 단말 장치(200)는 전자 장치(100)로부터 기 설정된 제어 신호가 수신되면, 제1 패턴 영상 또는 제2 패턴 영상을 실시간으로 전자 장치(100)에 전송할 수 있다. 여기서, 기 설정된 제어 신호는 제1 패턴 영상 요청 신호 또는 제2 패턴 영상 요청 신호일 수 있다. 그리고, 전자 장치(100)는 단말 장치(200)로부터 수신된 제1 패턴 영상 또는 제2 패턴 영상을 출력할 수 있다.According to another embodiment, the first pattern image and the second pattern image may be provided from the terminal device 200 . Specifically, when a preset control signal is received from the electronic device 100 , the terminal device 200 may transmit the first pattern image or the second pattern image to the electronic device 100 in real time. Here, the preset control signal may be a first pattern image request signal or a second pattern image request signal. In addition, the electronic device 100 may output the first pattern image or the second pattern image received from the terminal device 200 .

또 다른 실시 예에 따라, 제1 패턴 영상 및 제2 패턴 영상은 서버(300)로부터 제공될 수 있다. 구체적으로, 서버(300)는 전자 장치(100)로부터 기 설정된 제어 신호가 수신되면, 제1 패턴 영상 또는 제2 패턴 영상을 전자 장치(100)에 전송할 수 있다. 여기서, 기 설정된 제어 신호는 제1 패턴 영상 요청 신호 또는 제2 패턴 영상 요청 신호일 수 있다. 그리고, 전자 장치(100)는 단말 장치(200)로부터 수신된 제1 패턴 영상 또는 제2 패턴 영상을 출력할 수 있다.According to another embodiment, the first pattern image and the second pattern image may be provided from the server 300 . Specifically, when a preset control signal is received from the electronic device 100 , the server 300 may transmit the first pattern image or the second pattern image to the electronic device 100 . Here, the preset control signal may be a first pattern image request signal or a second pattern image request signal. In addition, the electronic device 100 may output the first pattern image or the second pattern image received from the terminal device 200 .

한편, 제1 패턴 영상에 대응되는 색 공간 정보를 획득하는 방식이 다양할 수 있다.Meanwhile, there may be various methods of obtaining color space information corresponding to the first pattern image.

일 실시 예에 따라, 제1 패턴 영상에 대응되는 색 공간 정보가 메모리(110)에 저장된 상태일 수 있다. 전자 장치(100)는 기 설정된 이벤트가 발생한 경우, 메모리(110)에 저장된 제1 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있다.According to an embodiment, color space information corresponding to the first pattern image may be stored in the memory 110 . When a preset event occurs, the electronic device 100 may acquire color space information corresponding to the first pattern image stored in the memory 110 .

다른 실시 예에 따라, 제1 패턴 영상에 대응되는 색 공간 정보는 서버(300)로부터 제공될 수 있다. 구체적으로, 서버(300)는 기 설정된 제어 신호가 수신되면, 제1 패턴 영상에 대응되는 색 공간 정보를 전자 장치(100)에 전송할 수 있다. 여기서, 기 설정된 제어 신호는 제1 패턴 영상에 대응되는 색 공간 정보를 요청하는 신호일 수 있다. 그리고, 전자 장치(100)는 서버(300)로부터 제1 패턴 영상에 대응되는 색 공간 정보를 수신할 수 있다.According to another embodiment, color space information corresponding to the first pattern image may be provided from the server 300 . Specifically, when a preset control signal is received, the server 300 may transmit color space information corresponding to the first pattern image to the electronic device 100 . Here, the preset control signal may be a signal requesting color space information corresponding to the first pattern image. In addition, the electronic device 100 may receive color space information corresponding to the first pattern image from the server 300 .

한편, 제1 패턴 영상과 제2 패턴 영상을 출력하는 시점이 다양할 수 있다.Meanwhile, the timing at which the first pattern image and the second pattern image are output may vary.

일 실시 예에 따라, 전자 장치(100)는 제1 패턴 영상을 먼저 출력하고, 제1 패턴 영상이 출력된 이후 제2 패턴 영상을 출력할 수 있다. 구체적으로, 전자 장치(100)는 스크린 부재(30)가 설치되어 있는 상태에서 제1 패턴 영상을 출력할 수 있으며, 스크린 부재(30)가 미설치되어 있는 상태에서 제2 패턴 영상을 출력할 수 있다.According to an embodiment, the electronic device 100 may output a first pattern image first, and output a second pattern image after the first pattern image is output. Specifically, the electronic device 100 may output a first pattern image in a state in which the screen member 30 is installed, and may output a second pattern image in a state in which the screen member 30 is not installed. .

다른 실시 예에 따라, 전자 장치(100)는 제1 패턴 영상 및 제2 패턴 영상을 동시에 출력할 수 있다. 구체적으로, 전자 장치(100)는 스크린 부재(30)가 설치되어 있는 상태에서 제1 패턴 영상 및 제2 패턴 영상을 동시에 출력할 수 있다. 여기서, 전자 장치(100)는 투사면의 전체 영역 중 스크린 부재(30)가 위치하는 제1 영역에는 제1 패턴 영상을 출력하고, 투사면의 전체 영역 중 스크린 부재(30)가 위치하지 않는 제2 영역에는 제2 패턴 영상을 출력할 수 있다. 그리고, 전자 장치(100)는 투사면이 촬상된 촬영 영상을 획득할 수 있다. 여기서, 촬영 영상은 제1 영역에 출력된 제1 패턴 영상 및 제2 영역에 출력된 제2 패턴 영상을 포함할 수 있다. 여기서, 전자 장치(100)는 제1 영역에 출력된 제1 패턴 영상에 기초하여 변환 정보(예를 들어, 색 공간 변환 매트릭스)를 획득하고, 제2 영역에 출력된 제2 패턴 영상에 기초하여 컬러 보정을 수행할 수 있다. 여기서, 전자 장치(100)는 제1 패턴 영상의 원본 영상과 촬상 영상에 포함된 제1 패턴 영상에 기초하여 변환 정보(예를 들어, 색 공간 변환 매트릭스)를 획득할 수 있으며, 동시에 제2 패턴 영상의 원본 영상, 촬영 영상에 포함된 제2 패턴 영상 및 변환 정보(예를 들어, 색 공간 변환 매트릭스)에 기초하여 투사면의 특성에 따른 컬러 보정을 수행할 수 있다.According to another embodiment, the electronic device 100 may simultaneously output the first pattern image and the second pattern image. Specifically, the electronic device 100 may simultaneously output the first pattern image and the second pattern image while the screen member 30 is installed. Here, the electronic device 100 outputs a first pattern image to a first area where the screen member 30 is located among the entire area of the projection surface, and outputs a first pattern image among the entire area of the projection surface where the screen member 30 is not located. A second pattern image may be output to the second area. Then, the electronic device 100 may acquire a captured image of the projection surface. Here, the captured image may include a first pattern image output to the first region and a second pattern image output to the second region. Here, the electronic device 100 obtains transformation information (eg, a color space transformation matrix) based on the first pattern image output to the first region, and based on the second pattern image output to the second region Color correction can be performed. Here, the electronic device 100 may acquire conversion information (eg, a color space conversion matrix) based on the original image of the first pattern image and the first pattern image included in the captured image, and at the same time the second pattern Color correction according to characteristics of the projection surface may be performed based on the original image of the image, the second pattern image included in the captured image, and conversion information (eg, a color space conversion matrix).

한편, 전자 장치(100)는 제1 패턴 영상 및 제2 패턴 영상이 동일하며, 하나의 촬영 영상으로 컬러 보정을 수행하는 형태로 구현될 수 있다. 구체적으로, 전자 장치(100)는 스크린 부재(30)가 포함된 상태에서 패턴 영상을 출력할 수 있다. 여기서, 전자 장치(100)는 스크린 부재(30)가 포함된 제1 영역 및 스크린 부재(30)가 포함되지 않은 제2 영역 모두에 패턴 영상을 출력할 수 있다. 즉, 패턴 영상 중 일부는 제1 영역(스크린 부재(30)를 포함)에 출력되고 패턴 영상 중 일부는 제2 영역(스크린 부재(30)를 포함하지 않음)에 출력될 수 있다. 여기서, 전자 장치(100)는 패턴 영상의 원본 영상과 촬상 영상에 포함된 패턴 영상에 기초하여 변환 정보(예를 들어, 색 공간 변환 매트릭스)를 획득할 수 있으며, 동시에 패턴 영상의 원본 영상, 촬영 영상에 포함된 패턴 영상 및 변환 정보(예를 들어, 색 공간 변환 매트릭스)에 기초하여 투사면의 특성에 따른 컬러 보정을 수행할 수 있다.Meanwhile, the electronic device 100 may be implemented in such a way that the first pattern image and the second pattern image are the same, and color correction is performed with one captured image. Specifically, the electronic device 100 may output a pattern image while the screen member 30 is included. Here, the electronic device 100 may output the pattern image to both the first area including the screen member 30 and the second area not including the screen member 30 . That is, a portion of the pattern image may be output to the first area (including the screen member 30 ) and a portion of the pattern image may be output to the second area (not including the screen member 30 ). Here, the electronic device 100 may acquire conversion information (eg, a color space conversion matrix) based on the original image of the pattern image and the pattern image included in the captured image, and simultaneously capture the original image of the pattern image and capture Color correction according to the characteristics of the projection surface may be performed based on the pattern image and transformation information (eg, a color space transformation matrix) included in the image.

도 3은 도 2의 전자 장치(100)의 구체적인 구성을 설명하기 위한 블록도이다.3 is a block diagram illustrating a detailed configuration of the electronic device 100 of FIG. 2 .

도 3을 참조하면, 전자 장치(100)는 메모리(110), 프로젝션부(120), 프로세서(130), 카메라(140), 통신 인터페이스(150), 조작 인터페이스(161), 입출력 인터페이스(162), 스피커(170), 마이크(180) 또는 전원부(190) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 3 , the electronic device 100 includes a memory 110 , a projection unit 120 , a processor 130 , a camera 140 , a communication interface 150 , an operation interface 161 , and an input/output interface 162 . , a speaker 170 , a microphone 180 , or a power supply unit 190 .

한편, 메모리(110), 프로젝션부(120) 및 프로세서(130)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.Meanwhile, redundant descriptions of the same operations as those described above among the operations of the memory 110 , the projection unit 120 , and the processor 130 will be omitted.

카메라(140)는 피사체를 촬영하여 촬영 영상을 생성하기 위한 구성이며, 여기서 촬영 영상은 동영상과 정지 영상 모두를 포함하는 개념이다. 카메라(140)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.The camera 140 is configured to generate a photographed image by photographing a subject, wherein the photographed image is a concept including both a moving image and a still image. The camera 140 may acquire an image of at least one external device, and may be implemented as a camera, a lens, an infrared sensor, or the like.

카메라(140)는 렌즈와 이미지 센서를 포함할 수 있다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 전자 장치(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.The camera 140 may include a lens and an image sensor. The type of lens includes a general general-purpose lens, a wide-angle lens, a zoom lens, and the like, and may be determined according to the type, characteristic, and use environment of the electronic device 100 . As the image sensor, a complementary metal oxide semiconductor (CMOS) and a charge coupled device (CCD) may be used.

카메라(140)는 입사된 빛을 영상 신호로 출력한다. 구체적으로, 카메라(140)는 렌즈, 화소 및 AD 컨버터를 구비할 수 있다. 렌즈는 피사체의 빛을 모아서 촬영 영역에 광학상이 맺히게 하며, 화소는 렌즈를 통해 입상되는 빚을 아날로그 형태의 영상 신호로 출력할 수 있다. 그리고 AD 컨버터는 아날로그 형태의 영상 신호를 디지털 형태의 영상 신호로 변환하여 출력할 수 있다. 특히, 카메라(140)는 전자 장치(100)의 전면 방향을 촬영하도록 배치되어, 전자 장치(100)의 전면에 존재하는 사용자를 촬영하여 촬영 영상을 생성할 수 있다.The camera 140 outputs the incident light as an image signal. Specifically, the camera 140 may include a lens, a pixel, and an AD converter. The lens collects the light of the subject to form an optical image on the photographing area, and the pixel can output the image received through the lens as an analog image signal. In addition, the AD converter may convert an analog image signal into a digital image signal and output the converted image signal. In particular, the camera 140 is disposed to photograph the front direction of the electronic device 100 , and may generate a photographed image by photographing a user existing in front of the electronic device 100 .

통신 인터페이스(150)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(150)는 무선 통신 모듈 또는 유선 통신 모듈을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.The communication interface 150 is configured to communicate with various types of external devices according to various types of communication methods. The communication interface 150 may include a wireless communication module or a wired communication module. Here, each communication module may be implemented in the form of at least one hardware chip.

무선 통신 모듈은 무선으로 외부 장치와 통신하는 모듈일 수 있다. 예를 들어, 무선 통신 모듈은 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 또는 기타 통신 모듈 중 적어도 하나의 모듈을 포함할 수 있다.The wireless communication module may be a module that wirelessly communicates with an external device. For example, the wireless communication module may include at least one of a Wi-Fi module, a Bluetooth module, an infrared communication module, and other communication modules.

와이파이 모듈, 블루투스 모듈은 각각 와이파이 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.The Wi-Fi module and the Bluetooth module may perform communication using a Wi-Fi method and a Bluetooth method, respectively. In the case of using a Wi-Fi module or a Bluetooth module, various types of connection information such as an SSID and a session key are first transmitted and received, and various types of information can be transmitted/received after a communication connection is made using this.

적외선 통신 모듈은 가시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.The infrared communication module communicates according to the infrared data association (IrDA) technology, which wirelessly transmits data in a short distance using infrared that is between visible light and millimeter wave.

기타 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.Other communication modules, in addition to the above-described communication methods, include Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), LTE Advanced (LTE-A), 4th Generation (4G), 5G It may include at least one communication chip that performs communication according to various wireless communication standards, such as (5th Generation).

유선 통신 모듈은 유선으로 외부 장치와 통신하는 모듈일 수 있다. 예를 들어, 유선 통신 모듈은 LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 중 적어도 하나를 포함할 수 있다.The wired communication module may be a module that communicates with an external device by wire. For example, the wired communication module may include at least one of a local area network (LAN) module, an Ethernet module, a pair cable, a coaxial cable, an optical fiber cable, and an ultra wide-band (UWB) module.

조작 인터페이스(161)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.The manipulation interface 161 may be implemented as a device such as a button, a touch pad, a mouse, and a keyboard, or may be implemented as a touch screen capable of performing the above-described display function and manipulation input function together. Here, the button may be various types of buttons such as a mechanical button, a touch pad, a wheel, etc. formed in an arbitrary area such as the front, side, or rear of the exterior of the main body of the electronic device 100 .

입출력 인터페이스(162)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다. 입출력 인터페이스(162)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다. 구현 예에 따라, 입출력 인터페이스(162)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다. 한편, 전자 장치(100)는 입출력 인터페이스(162)를 통해 오디오 및 비디오 신호 중 적어도 하나를 외부 장치(예를 들어, 외부 디스플레이 장치 또는 외부 스피커)에 전송할 수 있다. 구체적으로, 입출력 인터페이스(162)에 포함된 출력 포트가 외부 장치와 연결될 수 있으며, 전자 장치(100)는 오디오 및 비디오 신호 중 적어도 하나를 출력 포트를 통해 외부 장치에 전송할 수 있다.Input/output interface 162 is HDMI (High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP (Display Port), Thunderbolt (Thunderbolt), VGA (Video Graphics Array) port, The interface may be any one of an RGB port, a D-subminiature (D-SUB), and a digital visual interface (DVI). The input/output interface 162 may input/output at least one of audio and video signals. Depending on the implementation, the input/output interface 162 may include a port for inputting and outputting only an audio signal and a port for inputting and outputting only a video signal as separate ports, or may be implemented as a single port for inputting and outputting both an audio signal and a video signal. Meanwhile, the electronic device 100 may transmit at least one of audio and video signals to an external device (eg, an external display device or an external speaker) through the input/output interface 162 . Specifically, an output port included in the input/output interface 162 may be connected to an external device, and the electronic device 100 may transmit at least one of audio and video signals to the external device through the output port.

여기서, 입출력 인터페이스(162)는 통신 인터페이스와 연결될 수 있다. 입출력 인터페이스(162)는 외부 기기로부터 수신되는 정보를 통신 인터페이스에 전송하거나 통신 인터페이스를 통해 수신되는 정보를 외부 기기에 전송할 수 있다.Here, the input/output interface 162 may be connected to a communication interface. The input/output interface 162 may transmit information received from the external device to the communication interface or transmit information received through the communication interface to the external device.

스피커(170)는 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.The speaker 170 may be a component that outputs not only various audio data but also various notification sounds or voice messages.

전자 장치(100)는 마이크(180)를 포함할 수 있다.The electronic device 100 may include a microphone 180 .

마이크(180)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환하기 위한 구성이다. 마이크(180)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(180)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(180)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.The microphone 180 is configured to receive a user's voice or other sound and convert it into audio data. The microphone 180 may receive a user's voice in an activated state. For example, the microphone 180 may be integrally formed in the upper side, the front direction, or the side direction of the electronic device 100 . The microphone 180 includes a microphone for collecting analog user voice, an amplifier circuit for amplifying the collected user voice, an A/D conversion circuit for sampling the amplified user voice and converting it into a digital signal, and a noise component from the converted digital signal. It may include various configurations such as a filter circuit that removes the

전원부(190)는 외부로부터 전력을 공급받아 전자 장치(100)의 다양한 구성에 전력을 공급할 수 있다. 본 개시의 일 실시 예에 따른 전원부(190)는 다양한 방식을 통해 전력을 공급받을 수 있다. 또한, 전원부(190)는 220V의 DC 전원 코드를 이용하여 전력을 공급받을 수 있다. 다만 이에 한정되지 않고, 전자 장치는 USB 전원 코드를 이용하여 전력을 공급받거나 무선 충전 방식을 이용하여 전력을 공급받을 수 있다.The power supply unit 190 may receive power from the outside and supply power to various components of the electronic device 100 . The power supply unit 190 according to an embodiment of the present disclosure may receive power through various methods. In addition, the power supply unit 190 may receive power using a DC power cord of 220V. However, the present invention is not limited thereto, and the electronic device may receive power using a USB power cord or may receive power using a wireless charging method.

전자 장치(100)는 디스플레이(미도시)를 더 포함할 수 있다.The electronic device 100 may further include a display (not shown).

디스플레이(미도시)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(미도시)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(미도시)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다. 또한, 본 개시의 일 실시 예에 따른, 디스플레이(미도시)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.A display (not shown) may be implemented as a display of various types, such as a liquid crystal display (LCD), an organic light emitting diode (OLED) display, a plasma display panel (PDP), and the like. The display (not shown) may include a driving circuit, a backlight unit, and the like, which may be implemented in a form such as an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT). Meanwhile, the display (not shown) may be implemented as a touch screen combined with a touch sensor, a flexible display, a three-dimensional display, or the like. Also, according to an embodiment of the present disclosure, a display (not shown) may include a bezel housing the display panel as well as a display panel for outputting an image. In particular, according to an embodiment of the present disclosure, the bezel may include a touch sensor (not shown) for detecting user interaction.

도 4는 컬러 보정 동작을 수행하는 다양한 실시 예를 설명하기 위한 표이다.4 is a table for explaining various embodiments of performing a color correction operation.

도 4의 표(410)를 참조하면, 컬러 보정 동작을 수행함에 있어 영상 획득 주체 및 스크린 부재 이용 방식에 따라서 다양한 실시 예가 존재할 수 있다. 영상 획득 주체는 단말 장치(200)이거나 전자 장치(100)일 수 있다. 한편, 스크린 부재 이용 방식은 사용자 설치 방식이거나 전자 장치 내장 방식일 수 있다.Referring to the table 410 of FIG. 4 , various embodiments may exist according to an image acquisition subject and a method of using a screen member in performing a color correction operation. The image acquisition subject may be the terminal device 200 or the electronic device 100 . Meanwhile, the method of using the screen member may be a user installation method or an electronic device built-in method.

여기서, 사용자 설치 방식은 별개의 스크린 부재(30)를 사용자가 직접 투사면에 설치하는 것을 의미할 수 있다. 또한, 전자 장치 내장 방식은 스크린 부재(30)가 전자 장치(100)에 내장되어 있어 자동으로 스크린 부재(30)를 이용하는 방식을 의미할 수 있다.Here, the user installation method may mean that the user directly installs the separate screen member 30 on the projection surface. Also, the electronic device embedding method may refer to a method in which the screen member 30 is embedded in the electronic device 100 and thus automatically uses the screen member 30 .

제1 실시 예에 따라, 단말 장치(200)가 영상을 획득하는 동작 및 사용자가 스크린 부재(30)를 직접 설치하는 동작에 기초하여 컬러 보정 동작이 수행될 수 있다. 이와 관련된 구체적인 설명은 도 5에서 기재한다.According to the first embodiment, a color correction operation may be performed based on an operation in which the terminal device 200 acquires an image and an operation in which the user directly installs the screen member 30 . A detailed description related thereto is described in FIG. 5 .

제2 실시 예에 따라, 단말 장치(200)가 영상을 획득하는 동작 및 전자 장치(100)에 내장된 스크린 부재(30)를 이용하는 동작에 기초하여 컬러 보정 동작이 수행될 수 있다. 이와 관련된 구체적인 설명은 도 6에서 기재한다.According to the second embodiment, a color correction operation may be performed based on an operation of the terminal device 200 acquiring an image and an operation of using the screen member 30 built in the electronic device 100 . A detailed description related thereto is described in FIG. 6 .

제3 실시 예에 따라, 전자 장치(100)가 영상을 획득하는 동작 및 사용자가 스크린 부재(30)를 직접 설치하는 동작에 기초하여 컬러 보정 동작이 수행될 수 있다. 이와 관련된 구체적인 설명은 도 7에서 기재한다.According to the third embodiment, a color correction operation may be performed based on an operation in which the electronic device 100 acquires an image and an operation in which the user directly installs the screen member 30 . A detailed description related thereto is described in FIG. 7 .

제4 실시 예에 따라, 전자 장치(100)가 영상을 획득하는 동작 및 전자 장치(100)에 내장된 스크린 부재(30)를 이용하는 동작에 기초하여 컬러 보정 동작이 수행될 수 있다. 이와 관련된 구체적인 설명은 도 8에서 기재한다.According to the fourth embodiment, a color correction operation may be performed based on an operation of the electronic device 100 acquiring an image and an operation of using the screen member 30 built in the electronic device 100 . A detailed description related thereto is described in FIG. 8 .

도 5는 제1 실시 예에 따른 컬러 보정 동작을 설명하기 위한 도면이다.5 is a diagram for explaining a color correction operation according to the first embodiment.

도 5를 참조하면, 사용자는 스크린(10)에 스크린 부재(30)를 설치할 수 있다. 스크린(10)에 스크린 부재(30)가 설치된 후 전자 장치(100)는 스크린 부재(30)에 제1 패턴 영상(510)을 투사할 수 있다. 여기서, 단말 장치(200)는 스크린 부재(30)에 투사된 제1 패턴 영상(510)을 촬영할 수 있다.Referring to FIG. 5 , the user may install the screen member 30 on the screen 10 . After the screen member 30 is installed on the screen 10 , the electronic device 100 may project the first pattern image 510 on the screen member 30 . Here, the terminal device 200 may photograph the first pattern image 510 projected on the screen member 30 .

도 6은 제2 실시 예에 따른 컬러 보정 동작을 설명하기 위한 도면이다.6 is a diagram for explaining a color correction operation according to the second embodiment.

도 6을 참조하면, 전자 장치(100)는 스크린 부재(30)를 포함할 수 있다. 일 예로, 전자 장치(100)에 포함된 스크린 부재(30)는 사용자의 조작에 의하여 도 6과 같이 펼쳐질 수 있다. 다른 예로, 전자 장치(100)에 포함된 스크린 부재(30)는 모터(미도시)에 의하여 도6과 같이 펼쳐질 수 있다. 스크린 부재(30)가 펼쳐진 상태에서, 전자 장치(100)는 제1 패턴 영상(610)을 스크린 부재(30)에 투사할 수 있다. 그리고, 단말 장치(200)는 스크린 부재(30)에 투사된 제1 제1 패턴 영상(610)을 촬영할 수 있다.Referring to FIG. 6 , the electronic device 100 may include a screen member 30 . For example, the screen member 30 included in the electronic device 100 may be unfolded as shown in FIG. 6 by a user's manipulation. As another example, the screen member 30 included in the electronic device 100 may be unfolded as shown in FIG. 6 by a motor (not shown). In the unfolded state of the screen member 30 , the electronic device 100 may project the first pattern image 610 onto the screen member 30 . In addition, the terminal device 200 may photograph the first pattern image 610 projected on the screen member 30 .

도 7은 제3 실시 예에 따른 컬러 보정 동작을 설명하기 위한 도면이다.7 is a diagram for explaining a color correction operation according to the third embodiment.

도 7을 참조하면, 사용자는 스크린(10)에 스크린 부재(30)를 설치할 수 있다. 스크린(10)에 스크린 부재(30)가 설치된 후 전자 장치(100)는 프로젝션부(120)를 이용하여 스크린 부재(30)에 제1 패턴 영상(710)을 투사할 수 있다. 여기서, 전자 장치(100)는 전자 장치(100)에 포함된 카메라(140)를 이용하여 스크린 부재(30)에 투사된 제1 패턴 영상(710)을 촬영할 수 있다.Referring to FIG. 7 , the user may install the screen member 30 on the screen 10 . After the screen member 30 is installed on the screen 10 , the electronic device 100 may project the first pattern image 710 onto the screen member 30 using the projection unit 120 . Here, the electronic device 100 may photograph the first pattern image 710 projected on the screen member 30 using the camera 140 included in the electronic device 100 .

도 8은 제4 실시 예에 따른 컬러 보정 동작을 설명하기 위한 도면이다.8 is a diagram for explaining a color correction operation according to the fourth embodiment.

도 8을 참조하면, 전자 장치(100)는 스크린 부재(30)를 포함할 수 있다. 일 예로, 전자 장치(100)에 포함된 스크린 부재(30)는 사용자의 조작에 의하여 도 8과 같이 펼쳐질 수 있다. 다른 예로, 전자 장치(100)에 포함된 스크린 부재(30)는 모터(미도시)에 의하여 도8과 같이 펼쳐질 수 있다. 스크린 부재(30)가 펼쳐진 상태에서, 전자 장치(100)는 제1 패턴 영상(810)을 스크린 부재(30)에 투사할 수 있다. 그리고, 전자 장치(100)는 스크린 부재(30)에 투사된 제1 패턴 영상(810)을 촬영할 수 있다.Referring to FIG. 8 , the electronic device 100 may include a screen member 30 . For example, the screen member 30 included in the electronic device 100 may be unfolded as shown in FIG. 8 by a user's manipulation. As another example, the screen member 30 included in the electronic device 100 may be unfolded as shown in FIG. 8 by a motor (not shown). In the unfolded state of the screen member 30 , the electronic device 100 may project the first pattern image 810 onto the screen member 30 . In addition, the electronic device 100 may photograph the first pattern image 810 projected on the screen member 30 .

도 9는 제1 실시 예 및 제3 실시 예에 따른 스크린 부재(30) 이용 동작을 설명하기 위한 도면이다.9 is a view for explaining an operation of using the screen member 30 according to the first and third embodiments.

도 9를 참조하면, 전자 장치(100)는 프로젝션부(120)를 통해 스크린 부재의 배치 위치를 가이드하기 위한 영상을 투사할 수 있다. 구체적으로, 전자 장치(100)가 투사하는 가이드 영상은 스크린 부재(30)의 배치를 가이드하기 위한 텍스트(910) 또는 UI(920) 중 적어도 하나를 포함할 수 있다. 사용자는 투사된 UI(920)에 기초하여 스크린 부재(30)의 위치를 쉽게 파악할 수 있으며, 투사된 UI(920)에 그대로 스크린 부재(30)를 위치시킬 수 있다.Referring to FIG. 9 , the electronic device 100 may project an image for guiding the arrangement position of the screen member through the projection unit 120 . Specifically, the guide image projected by the electronic device 100 may include at least one of a text 910 and a UI 920 for guiding the arrangement of the screen member 30 . The user may easily determine the position of the screen member 30 based on the projected UI 920 , and may position the screen member 30 on the projected UI 920 as it is.

도 10은 지2 실시 예 및 제4 실시 예에 따른 스크린 부재(30) 이용 동작을 설명하기 위한 도면이다.10 is a view for explaining an operation of using the screen member 30 according to the second and fourth embodiments.

도 10을 참조하면, 전자 장치(100)는 스크린 부재(30)를 포함할 수 있다. 일 예로, 전자 장치(100)에 포함된 스크린 부재(30)는 사용자의 조작에 의하여 같이 펼쳐질 수 있다. 다른 예로, 전자 장치(100)에 포함된 스크린 부재(30)는 모터(미도시)에 의하여 펼쳐질 수 있다.Referring to FIG. 10 , the electronic device 100 may include a screen member 30 . For example, the screen member 30 included in the electronic device 100 may be unfolded by a user's manipulation. As another example, the screen member 30 included in the electronic device 100 may be unfolded by a motor (not shown).

실시 예(1010)는 스크린 부재(30)가 접혀진 상태를 나타낸다. 실시 예(1020)는 스크린 부재(30)가 펼쳐진 상태를 나타낸다. 실시 예(1030)는 프로젝션부(120) 또는 카메라(140)가 전자 장치(100)에 배치된 상태를 나타낸다.Embodiment 1010 shows a state in which the screen member 30 is folded. Embodiment 1020 shows a state in which the screen member 30 is unfolded. The embodiment 1030 shows a state in which the projection unit 120 or the camera 140 is disposed in the electronic device 100 .

한편, 도 10에서 개시한 스크린 부재(30)는 전자 장치(100)에 부착되어 있는 것으로 도시하였다. 여기서, 스크린 부재(30)는 탈부착이 가능할 수 있으며, 사용자는 스크린 부재(30)를 전자 장치(100)로부터 분리하여 투사면에 부착할 수 있다. 따라서, 사용자는 스크린 부재(30)를 별도로 보관하지 않아도 되며, 사용자는 전자 장치(100)에 고정시켜 스크린 부재(30)를 용이하게 보관할 수 있다.Meanwhile, the screen member 30 illustrated in FIG. 10 is illustrated as being attached to the electronic device 100 . Here, the screen member 30 may be detachable, and the user may detach the screen member 30 from the electronic device 100 and attach it to the projection surface. Accordingly, the user does not need to separately store the screen member 30 , and the user can easily store the screen member 30 by fixing it to the electronic device 100 .

도 11은 색 공간 변환 매트릭스를 생성하는 동작을 설명하기 위한 도면이다.11 is a diagram for explaining an operation of generating a color space conversion matrix.

도 11을 참조하면, 전자 장치(100)는 색 공간 변환 매트릭스를 획득하는 동작을 수행할 수 있다.Referring to FIG. 11 , the electronic device 100 may perform an operation of obtaining a color space conversion matrix.

실시 예(1110)를 참조하면, 전자 장치(100)는 제1 패턴 영상(1111)에 대응되는 색 공간 정보를 저장할 수 있다. 여기서, 색 공간 정보는 CIE XYZ 색 공간을 의미할 수 있다. 여기서, CIE는 국제조명위원회(International Commission on Illumination, Commission Internationale de l'Eclairage)를 의미할 수 있다. 구체적으로, 전자 장치(100)는 제1 패턴 영상(1111)을 스크린 부재(30)에 투사할 수 있다. 그리고, 전문 측정 장치(1100)는 스크린 부재(30)에 투사된 제1 패턴 영상(1111)을 촬영할 수 있다. 제1 패턴 영상(1111)이 촬영된 영상에 기초하여, 전자 장치(100)는 제1 패턴 영상(1111)에 대응되는 색 공간 정보를 획득할 수 있다. 여기서, 획득된 색 공간 정보는 기준 정보일 수 있다. 전문 측정 장치(1100)는 높은 정밀도를 갖는 장치이므로 일반 소비자가 보유하기 어려울 수 있다. 따라서, 전문 측정 장치(1100)로 촬영한 영상과 일반 단말 장치(200)가 촬영한 영상의 차이가 존재할 수 있다.Referring to the embodiment 1110 , the electronic device 100 may store color space information corresponding to the first pattern image 1111 . Here, the color space information may mean a CIE XYZ color space. Here, CIE may mean International Commission on Illumination, Commission Internationale de l'Eclairage. Specifically, the electronic device 100 may project the first pattern image 1111 on the screen member 30 . In addition, the professional measuring apparatus 1100 may photograph the first pattern image 1111 projected on the screen member 30 . Based on the image in which the first pattern image 1111 is captured, the electronic device 100 may obtain color space information corresponding to the first pattern image 1111 . Here, the obtained color space information may be reference information. Since the professional measuring device 1100 is a device with high precision, it may be difficult for general consumers to possess. Accordingly, there may be a difference between the image captured by the professional measuring device 1100 and the image captured by the general terminal device 200 .

실시 예(1120)를 참조하면, 전자 장치(100)는 제1 패턴 영상(1121)에 대응되는 RGB 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 스크린 부재(30)에 제1 패턴 영상(1121)을 투사할 수 있으며, 단말 장치(200)는 투사된 제1 패턴 영상(1121)을 촬영할 수 있다. 여기서, 제1 패턴 영상(1121)은 실시 예(1110)의 제1 패턴 영상(1111)과 동일할 수 있다. 전자 장치(100)는 단말 장치(200)가 촬영한 제1 촬영 영상에 대응되는 RGB 정보를 획득할 수 있다.Referring to the embodiment 1120 , the electronic device 100 may obtain RGB information corresponding to the first pattern image 1121 . Specifically, the electronic device 100 may project the first pattern image 1121 on the screen member 30 , and the terminal device 200 may photograph the projected first pattern image 1121 . Here, the first pattern image 1121 may be the same as the first pattern image 1111 of the embodiment 1110 . The electronic device 100 may obtain RGB information corresponding to the first captured image captured by the terminal device 200 .

전자 장치(100)는 실시 예(1110)를 통해 획득한 제1 패턴 영상(1111)에 대응되는 CIE XYZ색 공간 정보 및 실시 예(1120)를 통해 획득한 제1 촬영 영상에 대응되는 RGB 정보에 기초하여 색 공간 변환 매트릭스를 획득할 수 있다.The electronic device 100 receives CIE XYZ color space information corresponding to the first pattern image 1111 obtained through the embodiment 1110 and RGB information corresponding to the first captured image obtained through the embodiment 1120. Based on the color space conversion matrix, it is possible to obtain a color space conversion matrix.

도 12는 컬러 보정 결과를 투사하는 동작을 설명하기 위한 도면이다.12 is a diagram for explaining an operation of projecting a color correction result.

도 12를 참조하면, 전자 장치(100)는 컬러 보정 동작을 수행한 이후 결과 영상(1210)를 스크린(10)에 투사할 수 있다. 결과 영상은 투사면에 목표 수준 대비 어느 정도 비율까지 컬러 보정이 가능한지 나타내는 정보를 포함할 수 있다. 예를 들어, 전자 장치(100)는 목표 수준이 100%라면, 목표 수준의 90%까지 컬러 보정이 가능하다는 정보를 포함하는 결과 영상(1210)를 스크린(10)에 투사할 수 있다.Referring to FIG. 12 , the electronic device 100 may project a result image 1210 on the screen 10 after performing a color correction operation. The resulting image may include information indicating to what extent color correction is possible with respect to the target level on the projection surface. For example, if the target level is 100%, the electronic device 100 may project the result image 1210 including information indicating that color correction is possible up to 90% of the target level on the screen 10 .

도 13은 컬러 보정 결과에 대응되는 사용자 행위를 가이드하는 동작을 설명하기 위한 도면이다.13 is a diagram for explaining an operation of guiding a user action corresponding to a color correction result.

도 13을 참조하면, 전자 장치(100)는 컬러 보정 동작을 수행한 이후 컬러 보정 결과(1311) 및 사용자 행위를 가이드하기 위한 정보(1312)를 포함하는 결과 영상(1310)를 스크린(10)에 투사할 수 있다. 컬러 보정 결과(1311)는 목표 수준 대비 어느 정도 비율까지 컬러 보정이 가능한지 나타내는 정보를 의미할 수 있다. 또한, 사용자 행위를 가이드하기 위한 정보(1312)는 컬러 보정 결과를 더 좋게 만들기 위해 사용자가 할 수 있는 조치를 포함할 수 있다. 예를 들어, 사용자 행위를 가이드하기 위한 정보(1312)는 컬러 보정 정확도를 높이기 위해 조명을 어둡게 하도록 가이드하는 정보가 포함될 수 있다. 조명을 어둡게 하는 경우 제1 패턴 영상 또는 제2 패턴 영상이 더욱 선명하게 인식될 수 있다. 따라서, 전자 장치(100)는 컬러 보정 정확도를 높이기 위해 조명을 어둡게 하도록 가이드하는 정보를 사용자에게 제공할 수 있다.Referring to FIG. 13 , after performing a color correction operation, the electronic device 100 displays a result image 1310 including a color correction result 1311 and information 1312 for guiding a user action on the screen 10 . can be projected The color correction result 1311 may refer to information indicating to what extent color correction is possible with respect to the target level. In addition, the information 1312 for guiding the user behavior may include actions that the user can take to make the color correction result better. For example, the information 1312 for guiding a user action may include information guiding to dim the lighting to increase color correction accuracy. When the lighting is dimmed, the first pattern image or the second pattern image may be recognized more clearly. Accordingly, the electronic device 100 may provide the user with information for guiding to dim the lighting in order to increase color correction accuracy.

도 14는 일 실시 예에 따라, 컬러 보정 이전 투사와 컬러 보정 이후 투사를 비교하는 동작을 설명하기 위한 도면이다.14 is a diagram for explaining an operation of comparing projection before color correction and projection after color correction, according to an embodiment.

도 14를 참조하면, 실시 예(1401)는 컬러 보정 이전 설정에 따라 결과 영상(1410)를 투사하는 전자 장치(100)를 나타낼 수 있다. 전자 장치(100)는 컬러 보정 동작 이후에 결과 영상(1410)를 투사할 수 있다. 결과 영상(1410)는 컬러 보정 결과를 나타내는 UI(1411), 컬러 보정 이전 설정에 따라 결과 영상을 투사하도록 가이드하기 위한 UI(1412), 컬러 보정 이후 설정에 따라 결과 영상을 투사하도록 가이드하기 위한 UI(1413) 또는 컬러 보정 이후 설정을 적용하기 위해 사용자의 선택을 가이드하기 위한 UI(1414) 중 적어도 하나를 포함할 수 있다. 예를 들어, 사용자가 컬러 보정 이전 설정에 따라 결과 영상을 투사하도록 가이드하기 위한 UI(1412)를 선택하면, 전자 장치(100)는 결과 영상(1410)를 컬러 보정 이전 설정에 따라 투사하도록 프로젝션부(120)를 제어할 수 있다.Referring to FIG. 14 , an embodiment 1401 may represent an electronic device 100 that projects a result image 1410 according to a setting before color correction. The electronic device 100 may project the result image 1410 after the color correction operation. The result image 1410 is a UI 1411 indicating the color correction result, a UI 1412 for guiding to project the result image according to the settings before color correction, and a UI for guiding to project the result image according to the settings after color correction It may include at least one of 1413 or a UI 1414 for guiding a user's selection to apply a setting after color correction. For example, if the user selects the UI 1412 for guiding to project the result image according to the settings before color correction, the electronic device 100 projects the result image 1410 according to the settings before color correction. 120 can be controlled.

한편, 실시 예(1402)는 컬러 보정 이후 설정에 따라 결과 영상(1420)를 투사하는 전자 장치(100)를 나타낼 수 있다. 예를 들어, 사용자가 컬러 보정 이후 설정에 따라 결과 영상을 투사하도록 가이드하기 위한 UI(1413)를 선택하면, 전자 장치(100)는 결과 영상(1420)를 컬러 보정 이후 설정에 따라 투사하도록 프로젝션부(120)를 제어할 수 있다.Meanwhile, the embodiment 1402 may represent the electronic device 100 that projects the result image 1420 according to a setting after color correction. For example, when the user selects the UI 1413 for guiding to project the result image according to the setting after color correction, the electronic device 100 projects the result image 1420 according to the setting after color correction. 120 can be controlled.

결과 영상(1410)는 컬러 보정 이전 설정에 따라 투사된 영상일 수 있다. 따라서, 결과 영상(1410)는 스크린(10)의 색상으로 인해 다르게 인식될 수 있다. 하지만, 결과 영상(1420)는 컬러 보정 이후 설정에 따라 투사된 영상일 수 있다. 따라서, 결과 영상(1420)는 스크린(10)의 색상에도 불구하고 최초 의도하고자 하는 영상의 색상 그대로 표현될 수 있다.The result image 1410 may be an image projected according to a setting before color correction. Accordingly, the resulting image 1410 may be recognized differently due to the color of the screen 10 . However, the result image 1420 may be an image projected according to a setting after color correction. Accordingly, the resulting image 1420 may be expressed as it is in the color of the initially intended image despite the color of the screen 10 .

컬러 보정 동작 이후에 별도의 사용자 선택 없이 투사되는 결과 영상은 실시 예(1401)의 결과 영상(1410) 또는 실시 예(1402)의 결과 영상(1420) 중 어느 하나의 영상일 수 있다.The result image projected without a separate user selection after the color correction operation may be one of the result image 1410 of the embodiment 1401 and the result image 1420 of the embodiment 1402 .

도 15는 다른 실시 예에 따라, 컬러 보정 이전 투사와 컬러 보정 이후 투사를 비교하는 동작을 설명하기 위한 도면이다.15 is a diagram for explaining an operation of comparing projection before color correction and projection after color correction, according to another exemplary embodiment.

도15를 참조하면, 전자 장치(100)는 결과 영상(1510)를 투사할 수 있다. 여기서, 결과 영상(1510)는 2개의 영역으로 구분될 수 있다. 제1 영역(1511)은 결과 영상(1510)의 전체 영역 중 컬러 보정 이전 설정으로 투사된 영역일 수 있다. 그리고, 제2 영역(1512)은 결과 영상(1510)의 전체 영역 중 컬러 보정 이후 설정으로 투사된 영역일 수 있다. 전자 장치(100)는 결과 영상(1510)에서 일부 영역을 컬러 보정 이전 설정으로 투사하고, 나머지 영역을 컬러 보정 이후 설정으로 투사할 수 있다.Referring to FIG. 15 , the electronic device 100 may project a result image 1510 . Here, the result image 1510 may be divided into two regions. The first area 1511 may be an area projected as a setting before color correction among the entire area of the result image 1510 . In addition, the second area 1512 may be a projected area after color correction among the entire area of the result image 1510 . The electronic device 100 may project a partial area of the result image 1510 as a setting before color correction, and may project the remaining area as a setting after color correction.

도 16은 전자 장치(100)와 연결 가능한 단말 장치와 관련된 정보를 투사하는 동작을 설명하기 위한 도면이다.16 is a diagram for explaining an operation of projecting information related to a terminal device connectable to the electronic device 100 .

도 16을 참조하면, 전자 장치(100)는 전자 장치(100)와 연결 가능한 적어도 하나의 기기 리스트를 포함하는 영상(1610)를 투사할 수 있다. 예를 들어, 전자 장치(100)가 제1 단말 장치, 제2 단말 장치, 제3 단말 장치와 연결 가능한 상태라고 가정한다. 전자 장치(100)는 3개의 단말 장치에 대응되는 정보를 리스트로서 투사할 수 있다. 사용자에 의해 제1 단말 장치와 연결하기 위한 UI(1611)가 선택되면, 전자 장치(100)는 제1 단말 장치와 통신 연결을 수행할 수 있다.Referring to FIG. 16 , the electronic device 100 may project an image 1610 including a list of at least one device connectable to the electronic device 100 . For example, it is assumed that the electronic device 100 is connectable to the first terminal device, the second terminal device, and the third terminal device. The electronic device 100 may project information corresponding to three terminal devices as a list. When the UI 1611 for connection with the first terminal device is selected by the user, the electronic device 100 may perform communication connection with the first terminal device.

한편, 전자 장치(100)가 특정 단말 장치와 통신 연결이 되면, 전자 장치(100)는 결과 영상(1620)를 투사할 수 있다. 결과 영상(1620)는 특정 단말 장치와 연결되었음을 알리는 정보(1621) 또는 특정 단말 장치와의 연결을 유지 여부를 선택하기 위한 UI(1622) 중 적어도 하나를 포함할 수 있다. 여기서, 특정 단말 장치와의 연결을 유지 여부를 선택하기 위한 UI(1622)는 연결 유지에 대응되는 UI(1623) 또는 연결 해제에 대응되는 UI(1624) 중 적어도 하나를 포함할 수 있다. 사용자에 의해 연결 해제에 대응되는 UI(1624)가 선택되면, 전자 장치(100)는 기존에 연결된 특정 단말 장치(예를 들어, 제1 단말 장치)와의 통신 연결을 종료할 수 있다.Meanwhile, when the electronic device 100 establishes a communication connection with a specific terminal device, the electronic device 100 may project a result image 1620 . The result image 1620 may include at least one of information 1621 indicating that the connection with the specific terminal device is connected or a UI 1622 for selecting whether to maintain the connection with the specific terminal device. Here, the UI 1622 for selecting whether to maintain a connection with a specific terminal device may include at least one of a UI 1623 corresponding to connection maintenance and a UI 1624 corresponding to disconnection. When the UI 1624 corresponding to disconnection is selected by the user, the electronic device 100 may terminate the communication connection with the previously connected specific terminal device (eg, the first terminal device).

한편, 특정 단말 장치(예를 들어, 제1 단말 장치)와의 통신 연결을 종료된 후, 전자 장치(100)는 다시 연결 가능 기기 리스트를 포함하는 영상(1630)를 투사할 수 있다. 여기서, 영상(1630)는 전자 장치(100)와 연결 가능한 장치이지만 연결 해제된 장치에 대응되는 UI(1631, 1632)를 다른 UI와 다른 레이아웃으로 투사할 수 있다. 예를 들어, 전자 장치(100)는 이미 연결 해제된 제1 단말 장치에 대응되는 UI(1631, 1632)를 희미하게 표시하거나 회색으로 표시할 수 있다.Meanwhile, after terminating a communication connection with a specific terminal device (eg, the first terminal device), the electronic device 100 may project an image 1630 including a list of connectable devices again. Here, the image 1630 is a device connectable to the electronic device 100 , but UIs 1631 and 1632 corresponding to the disconnected device may be projected in a layout different from other UIs. For example, the electronic device 100 may display the UIs 1631 and 1632 corresponding to the already disconnected first terminal device in dim or gray color.

도 17은 색 공간 변환 매트릭스를 획득하는 동작 및 컬러 보정 동작을 수행하는 전체 과정을 간략히 설명하기 위한 흐름도이다.17 is a flowchart for briefly explaining an entire process of obtaining a color space conversion matrix and performing a color correction operation.

도 17을 참조하면, 전자 장치(100)는 스크린 부재(30)를 포함하는 제1 촬영 영상을 획득할 수 있다 (S1705). 여기서, 제1 촬영 영상은 전자 장치(100) 또는 단말 장치(200)에 의해 촬영될 수 있다. 또한, 전자 장치(100)는 색 공간 변환 매트릭스를 획득할 수 있다 (S1710). 여기서, 색 공간 변환 매트릭스는 제1 촬영 영상에 기초하여 생성될 수 있다. 또한, 전자 장치(100)는 스크린(10)을 포함하는 제2 촬영 영상을 획득할 수 있다 (S1715). 여기서, 제2 촬영 영상은 전자 장치(100) 또는 단말 장치(200)에 의해 촬영될 수 있다. 또한, 전자 장치(100)는 컬러 보정 동작을 수행할 수 있다 (S1720). 여기서, 컬러 보정 동작은 제2 촬영 영상에 기초하여 수행될 수 있다.Referring to FIG. 17 , the electronic device 100 may acquire a first captured image including the screen member 30 ( S1705 ). Here, the first captured image may be captured by the electronic device 100 or the terminal device 200 . Also, the electronic device 100 may obtain a color space conversion matrix ( S1710 ). Here, the color space conversion matrix may be generated based on the first captured image. Also, the electronic device 100 may acquire a second captured image including the screen 10 ( S1715 ). Here, the second captured image may be captured by the electronic device 100 or the terminal device 200 . Also, the electronic device 100 may perform a color correction operation ( S1720 ). Here, the color correction operation may be performed based on the second captured image.

도 18은 색 공간 변환 매트릭스를 획득하는 동작을 구체적으로 설명하기 위한 흐름도이다.18 is a flowchart for specifically explaining an operation of obtaining a color space conversion matrix.

도 18을 참조하면, 전자 장치(100)는 스크린 부재(30)에 제1 패턴 영상을 투사할 수 있다 (S1805). 또한, 전자 장치(100)는 제1 패턴 영상이 투사된 스크린 부재(30)를 포함하는 제1 촬영 영상을 획득할 수 있다 (S1810). 또한, 전자 장치(100)는 제1 촬영 영상에 대응되는 RGB 정보 및 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 색 공간 변환 매트릭스를 획득할 수 있다 (S1815). 또한, 전자 장치(100)는 스크린(10)에 제2 패턴 영상을 투사할 수 있다 (S1820). 또한, 전자 장치(100)는 제2 패턴 영상이 투사된 스크린(10)을 포함하는 제2 촬영 영상을 획득할 수 있다 (S1825). 또한, 전자 장치(100)는 제2 촬영 영상에 대응되는 RGB 정보, 색 공간 변환 매트릭스 및 제2 패턴 영상에 대응되는 색 공간 정보에 기초하여 컬러 보정을 수행할 수 있다 (S1830).Referring to FIG. 18 , the electronic device 100 may project a first pattern image on the screen member 30 ( S1805 ). Also, the electronic device 100 may acquire a first captured image including the screen member 30 on which the first pattern image is projected ( S1810 ). Also, the electronic device 100 may obtain a color space conversion matrix based on RGB information corresponding to the first captured image and color space information corresponding to the first pattern image (S1815). Also, the electronic device 100 may project the second pattern image on the screen 10 ( S1820 ). Also, the electronic device 100 may acquire a second captured image including the screen 10 on which the second pattern image is projected ( S1825 ). Also, the electronic device 100 may perform color correction based on RGB information corresponding to the second captured image, a color space conversion matrix, and color space information corresponding to the second pattern image ( S1830 ).

도 19는 컬러 보정 동작을 구체적으로 설명하기 위한 흐름도이다.19 is a flowchart for describing a color correction operation in detail.

도 19를 참조하면, 전자 장치(100)는 색 공간 변환 매트릭스를 획득한 이후, 스크린(10)에 제2 패턴 영상을 투사할 수 있다 (S1905). 또한, 전자 장치(100)는 제2 패턴 영상이 투사된 스크린(10)을 포함하는 제2 촬영 영상을 획득할 수 있다 (S1910). 또한, 전자 장치(100)는 색 공간 변환 매트릭스에 기초하여 제2 촬영 영상에 대응되는 RGB 정보를 제2 촬영 영상에 대응되는 색 공간 정보로 변환할 수 있다 (S1915). 또한, 전자 장치(100)는 제2 촬영 영상에 대응되는 색 공간 정보 및 제2 패턴 영상에 대응되는 색 공간 정보 간 컬러 차이를 획득할 수 있다 (S1920).Referring to FIG. 19 , after obtaining the color space conversion matrix, the electronic device 100 may project the second pattern image on the screen 10 ( S1905 ). Also, the electronic device 100 may acquire a second captured image including the screen 10 on which the second pattern image is projected ( S1910 ). Also, the electronic device 100 may convert RGB information corresponding to the second captured image into color space information corresponding to the second captured image based on the color space conversion matrix ( S1915 ). Also, the electronic device 100 may obtain a color difference between the color space information corresponding to the second captured image and the color space information corresponding to the second pattern image ( S1920 ).

여기서, 전자 장치(100)는 컬러 차이가 임계값 이상인지 식별할 수 있다 (S1925). 컬러 차이가 임계값 이상이면 (S1925-Y), 전자 장치(100)는 컬러 차이에 기초하여 컬러 보정을 수행할 수 있다 (S1930). 그리고, 전자 장치(100)는 컬러 보정을 수행한 이후 다시 제2 패턴 영상을 투사할 수 있다. 그리고, 전자 장치(100)는 S1905 내지 S1925 단계를 반복할 수 있다. 한편, 컬러 차이가 임계값 미만이면 (S1925-N), 전자 장치(100)는 컬러 보정을 수행하지 않고 현재 설정된 값을 유지할 수 있다 (S1935).Here, the electronic device 100 may identify whether the color difference is equal to or greater than a threshold value (S1925). If the color difference is equal to or greater than the threshold value (S1925-Y), the electronic device 100 may perform color correction based on the color difference (S1930). Then, the electronic device 100 may project the second pattern image again after performing color correction. Then, the electronic device 100 may repeat steps S1905 to S1925. Meanwhile, if the color difference is less than the threshold value (S1925-N), the electronic device 100 may maintain the currently set value without performing color correction (S1935).

도 20은 스크린 부재(30)에 기 설정된 오브젝트가 포함되어 있는지 식별하는 동작을 설명하기 위한 흐름도이다.20 is a flowchart illustrating an operation of identifying whether a preset object is included in the screen member 30 .

도 20을 참조하면, 사용자가 직접 스크린 부재(30)를 설치하는 도4의 제1 실시 예 및 제3 실시 예에서, 스크린 부재(30)가 전자 장치(100)에 대응되는 정품 스크린 부재(30)인지 확인할 필요성이 있다. 정품 스크린 부재(30)가 아닌 경우 컬러 보정이 정확하게 이루어지지 않을 수 있기 때문이다.Referring to FIG. 20 , in the first and third embodiments of FIG. 4 in which the user directly installs the screen member 30 , the screen member 30 is a genuine screen member 30 corresponding to the electronic device 100 . ) needs to be checked. This is because, if the screen member is not the genuine screen member 30, color correction may not be performed accurately.

전자 장치(100)는 스크린 부재(30)를 포함하는 제1 촬영 영상을 획득할 수 있다 (S2005). 또한, 전자 장치(100)는 제1 촬영 영상에 기 설정된 오브젝트가 포함되어 있는지 식별할 수 있다 (S2010). 여기서, 기 설정된 오브젝트는 스크린 부재(30)가 전자 장치(100)에 대응되는 스크린 부재인지 식별하기 위한 오브젝트를 의미할 수 있다. 구체적인 설명은 도 21 및 도 22에서 기재한다.The electronic device 100 may acquire a first captured image including the screen member 30 (S2005). Also, the electronic device 100 may identify whether a preset object is included in the first captured image (S2010). Here, the preset object may mean an object for identifying whether the screen member 30 is a screen member corresponding to the electronic device 100 . A detailed description is given in FIGS. 21 and 22 .

제1 촬영 영상에 기 설정된 오브젝트가 포함되면 (S2010-Y), 전자 장치(100)는 색 공간 변환 매트릭스를 획득할 수 있다 (S2015). 제1 촬영 영상에 기 설정된 오브젝트가 포함되어 있다는 것은 스크린 부재(30)가 스크린(10)에 존재하는 것을 의미할 수 있다. 기 설정된 오브젝트는 스크린 부재(30)와 관련된 오브젝트일 수 있다.When a preset object is included in the first captured image (S2010-Y), the electronic device 100 may obtain a color space conversion matrix (S2015). The fact that the preset object is included in the first captured image may mean that the screen member 30 is present on the screen 10 . The preset object may be an object related to the screen member 30 .

제1 촬영 영상에 기 설정된 오브젝트가 포함되어 있지 않으면 (S2010-N), 전자 장치(100)는 스크린 부재(30)가 인식되지 않는다는 텍스트를 투사할 수 있다 (S2020). 제1 촬영 영상에 기 설정된 오브젝트가 포함되어 있지 않다는 것은 스크린 부재(30)가 스크린(10)에 존재하지 않는다는 것을 의미할 수 있다. 다만, 정품 스크린 부재(30)가 아닌 다른 종류의 스크린 부재가 있는 상황이 있을 수 있다. 이러한 경우, 전자 장치(100)는 정품이 아닌 다른 종류의 스크린 부재가 있음을 알리는 텍스트를 투사할 수 있다.If a preset object is not included in the first captured image (S2010-N), the electronic device 100 may project a text indicating that the screen member 30 is not recognized (S2020). The fact that a preset object is not included in the first captured image may mean that the screen member 30 does not exist on the screen 10 . However, there may be a situation where there is a screen member other than the genuine screen member 30 . In this case, the electronic device 100 may project a text indicating that there is a screen member other than the genuine product.

도 21은 일 실시 예에 따른 스크린 부재(30) 식별 동작을 설명하기 위한 도면이다.21 is a view for explaining an operation of identifying the screen member 30 according to an embodiment.

도 21을 참조하면, 스크린 부재(30)는 일반 영역(2111) 및 굴곡 영역(2112)을 포함할 수 있다. 여기서, 일반 영역(2111)은 반사율이 일정한 평면으로 이루어진 영역일 수 있다. 여기서, 굴곡 영역(2112)은 반사율이 달라지는 면으로 이루어진 영역일 수 있다. 일반 영역(2111)에선 빛의 반사율이 일정하지만, 굴곡 영역(2112)은 반사율이 일정하지 않을 수 있다. 굴곡 영역(2112)은 음각(intaglio, engraving) 또는 양각(relief, embossing)으로 제작된 영역일 수 있다. 여기서, 굴곡 영역(2112)은 기 설정된 오브젝트일 수 있다. 획득된 제1 촬영 영상에 기 설정된 오브젝트(굴곡 영역(2112))이 포함되면, 전자 장치(100)는 스크린 부재(30)가 정품인 것으로 판단할 수 있다.Referring to FIG. 21 , the screen member 30 may include a general area 2111 and a curved area 2112 . Here, the general region 2111 may be a region formed of a plane having a constant reflectance. Here, the curved region 2112 may be a region formed of a surface having a different reflectance. The reflectance of light may be constant in the normal area 2111 , but the reflectance may not be constant in the curved area 2112 . The bent region 2112 may be a region made of intaglio, engraving, or relief, embossing. Here, the curved region 2112 may be a preset object. When a preset object (the curved region 2112) is included in the acquired first captured image, the electronic device 100 may determine that the screen member 30 is genuine.

도 21에서 굴곡 영역(2112)이 빗금으로 표시되었지만, 실제 구현 시 굴곡 영역(2112)은 일반적인 상황에서는 사용자의 시각으로 인식되지 않고 빛이 조사된 상황에 한하여 사용자의 시각으로 인식될 수 있는 영역일 수 있다. 또한, 굴곡 영역(2112)은 올록볼록한 면으로 구현되어 빛의 반사율이 일정하지 않을 수 있다.Although the curved region 2112 is indicated by hatching in FIG. 21, in actual implementation, the curved region 2112 is not recognized as the user's eyes in a general situation, but is an area that can be recognized as the user's vision only when light is irradiated. can In addition, since the curved region 2112 is implemented as a convex and convex surface, the reflectance of light may not be constant.

도 22는 다른 실시 예에 따른 스크린 부재(30) 식별 동작을 설명하기 위한 도면이다.22 is a view for explaining an operation of identifying the screen member 30 according to another embodiment.

도 22를 참조하면, 스크린 부재(30)는 기 설정된 오브젝트(2210)를 포함할 수 있다. 여기서, 기 설정된 오브젝트(2210)는 정품 스크린 부재를 나타낼 수 있는 오브젝트를 의미할 수 있다. 예를 들어, 기 설정된 오브젝트(2210)는 기 설정된 텍스트, 기 설정된 영상, 기 설정된 아이콘 또는 기 설정된 패턴 중 적어도 하나를 포함할 수 있다. 한편, 기 설정된 오브젝트(2210)는 빛이 비쳐지지 않는 상태에서 잘 보이지 않는 오브젝트이며 빛이 비쳐지는 상태에서 잘 보이는 오브젝트일 수 있다.Referring to FIG. 22 , the screen member 30 may include a preset object 2210 . Here, the preset object 2210 may mean an object that can represent a genuine screen member. For example, the preset object 2210 may include at least one of a preset text, a preset image, a preset icon, or a preset pattern. Meanwhile, the preset object 2210 may be an object that is invisible in a state in which light is not shining and an object that is easily visible in a state in which light is shining.

도 23은 컬러 보정 동작을 전자 장치(100)에서 수행하는 실시 예를 설명하기 위한 흐름도이다.23 is a flowchart illustrating an embodiment in which a color correction operation is performed by the electronic device 100 .

도 23을 참조하면, 전자 장치(100)는 색 공간 변환 매트릭스를 획득하여 컬러 보정을 수행할 수 있다. 구체적으로, 전자 장치(100)는 스크린 부재(30)에 제1 패턴 영상을 투사할 수 있다 (S2305). 또한, 전자 장치(100)는 제1 패턴 영상을 투사한 이후, 단말 장치(200)에 제1 촬영 명령을 전송할 수 있다 (S2310). 만약, 사용자가 제1 패턴 영상이 투사됨을 보고 직접 촬영 행위를 하는 경우, S2310 단계는 생략될 수 있다.Referring to FIG. 23 , the electronic device 100 may obtain a color space conversion matrix and perform color correction. Specifically, the electronic device 100 may project the first pattern image on the screen member 30 ( S2305 ). Also, after projecting the first pattern image, the electronic device 100 may transmit a first photographing command to the terminal device 200 ( S2310 ). If the user sees that the first pattern image is projected and directly takes a picture, step S2310 may be omitted.

여기서, 제1 패턴 영상이 투사된 후, 단말 장치(200)는 제1 패턴 영상이 투사된 스크린 부재(30)를 포함하는 제1 촬영 영상을 획득할 수 있다 (S2315). 그리고, 단말 장치(200)는 제1 촬영 영상을 전자 장치(100)에 전송할 수 있다 (S2320).Here, after the first pattern image is projected, the terminal device 200 may acquire a first captured image including the screen member 30 on which the first pattern image is projected ( S2315 ). Then, the terminal device 200 may transmit the first captured image to the electronic device 100 (S2320).

여기서, 전자 장치(100)는 단말 장치(200)로부터 수신한 제1 촬영 영상 및 제1 패턴 영상에 기초하여 색 공간 변환 매트릭스를 획득할 수 있다 (S2325). 구체적으로, 전자 장치(100)는 제1 촬영 영상에 대응되는 RGB 정보 및 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 색 공간 변환 매트릭스를 획득할 수 있다.Here, the electronic device 100 may obtain a color space conversion matrix based on the first captured image and the first pattern image received from the terminal device 200 ( S2325 ). Specifically, the electronic device 100 may obtain a color space conversion matrix based on RGB information corresponding to the first captured image and color space information corresponding to the first pattern image.

여기서, 색 공간 변환 매트릭스를 획득한 이후, 전자 장치(100)는 스크린(10)에 제2 패턴 영상을 투사할 수 있다 (S2330). 또한, 전자 장치(100)는 제2 패턴 영상을 투사한 이후, 단말 장치(200)에 제2 촬영 명령을 전송할 수 있다 (S2335). 만약, 사용자가 제2 패턴 영상이 투사됨을 보고 직접 촬영 행위를 하는 경우, S2335 단계는 생략될 수 있다.Here, after obtaining the color space conversion matrix, the electronic device 100 may project the second pattern image on the screen 10 ( S2330 ). Also, after projecting the second pattern image, the electronic device 100 may transmit a second photographing command to the terminal device 200 ( S2335 ). If the user sees that the second pattern image is projected and directly takes a picture, step S2335 may be omitted.

여기서, 제2패턴 영상이 투사된 후, 단말 장치(200)는 제2 패턴 영상이 투사된 스크린(10)을 포함하는 제2 촬영 영상을 획득할 수 있다 (S2340). 그리고, 단말 장치(200)는 제2 촬영 영상을 전자 장치(100)에 전송할 수 있다 (S2345).Here, after the second pattern image is projected, the terminal device 200 may acquire a second captured image including the screen 10 on which the second pattern image is projected ( S2340 ). Then, the terminal device 200 may transmit the second captured image to the electronic device 100 (S2345).

여기서, 전자 장치(100)는 단말 장치(200)로부터 수신한 제2 촬영 영상, 색 공간 변환 매트릭스 및 제2 패턴 영상에 기초하여 컬러 보정을 수행할 수 있다 (S2350). 구체적으로, 전자 장치(100)는 제2 촬영 영상에 대응되는 RGB 정보를 색 공간 변환 매트릭스에 기초하여 제2 촬영 영상에 대응되는 색 공간 정보로 변경할 수 있다. 그리고, 전자 장치(100)는 제2 촬영 영상에 대응되는 색 공간 정보와 제2 패턴 영상에 대응되는 색 공간 정보 간 컬러 차이에 기초하여 컬러 보정을 수행할 수 있다.Here, the electronic device 100 may perform color correction based on the second captured image, the color space conversion matrix, and the second pattern image received from the terminal device 200 ( S2350 ). Specifically, the electronic device 100 may change RGB information corresponding to the second captured image to color space information corresponding to the second captured image based on the color space conversion matrix. In addition, the electronic device 100 may perform color correction based on a color difference between the color space information corresponding to the second captured image and the color space information corresponding to the second pattern image.

도 24는 컬러 보정 동작을 단말 장치(200)에서 수행하는 실시 예를 설명하기 위한 흐름도이다.24 is a flowchart for explaining an embodiment in which a color correction operation is performed by the terminal device 200 .

도 24을 참조하면, 전자 장치(100)는 색 공간 변환 매트릭스를 획득하여 컬러 보정을 수행할 수 있다. 구체적으로, 전자 장치(100)는 스크린 부재(30)에 제1 패턴 영상을 투사할 수 있다 (S2405). 또한, 전자 장치(100)는 제1 패턴 영상을 투사한 이후, 단말 장치(200)에 제1 촬영 명령을 전송할 수 있다 (S2410). 만약, 사용자가 제1 패턴 영상이 투사됨을 보고 직접 촬영 행위를 하는 경우, S2410 단계는 생략될 수 있다.Referring to FIG. 24 , the electronic device 100 may obtain a color space conversion matrix and perform color correction. Specifically, the electronic device 100 may project the first pattern image on the screen member 30 ( S2405 ). Also, after projecting the first pattern image, the electronic device 100 may transmit a first photographing command to the terminal device 200 ( S2410 ). If the user sees that the first pattern image is projected and directly takes a picture, step S2410 may be omitted.

여기서, 제1 패턴 영상이 투사된 후, 단말 장치(200)는 제1 패턴 영상이 투사된 스크린 부재(30)를 포함하는 제1 촬영 영상을 획득할 수 있다 (S2415).Here, after the first pattern image is projected, the terminal device 200 may acquire a first captured image including the screen member 30 on which the first pattern image is projected (S2415).

여기서, 단말 장치(200)는 제1 촬영 영상 및 제1 패턴 영상에 기초하여 색 공간 변환 매트릭스를 획득할 수 있다 (S2420). 구체적으로, 단말 장치(200)는 제1 촬영 영상에 대응되는 RGB 정보 및 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 색 공간 변환 매트릭스를 획득할 수 있다. 여기서, 제1 패턴 영상에 대응되는 색 공간 정보는 단말 장치(200)에 이미 저장된 정보이거나 S2410 단계에서 함께 전송된 정보일 수 있다. 그리고, 단말 장치(200)는 제2 패턴 영상을 투사하기 위한 명령을 전자 장치(100)에 전송할 수 있다 (S2425).Here, the terminal device 200 may obtain a color space conversion matrix based on the first captured image and the first pattern image ( S2420 ). Specifically, the terminal device 200 may obtain a color space conversion matrix based on RGB information corresponding to the first captured image and color space information corresponding to the first pattern image. Here, the color space information corresponding to the first pattern image may be information already stored in the terminal device 200 or information transmitted together in step S2410. Then, the terminal device 200 may transmit a command for projecting the second pattern image to the electronic device 100 (S2425).

여기서, 단말 장치(200)로부터 제2 패턴 영상의 투사 명령을 수신하면, 전자 장치(100)는 스크린(10)에 제2 패턴 영상을 투사할 수 있다 (S2430). 또한, 전자 장치(100)는 제2 패턴 영상을 투사한 이후, 단말 장치(200)에 제2 촬영 명령을 전송할 수 있다 (S2435). 만약, 사용자가 제2 패턴 영상이 투사됨을 보고 직접 촬영 행위를 하는 경우, S2435 단계는 생략될 수 있다.Here, upon receiving a projection command of the second pattern image from the terminal device 200 , the electronic device 100 may project the second pattern image on the screen 10 ( S2430 ). Also, after projecting the second pattern image, the electronic device 100 may transmit a second photographing command to the terminal device 200 ( S2435 ). If the user sees that the second pattern image is projected and directly takes a picture, step S2435 may be omitted.

여기서, 제2패턴 영상이 투사된 후, 단말 장치(200)는 제2 패턴 영상이 투사된 스크린(10)을 포함하는 제2 촬영 영상을 획득할 수 있다 (S2440).Here, after the second pattern image is projected, the terminal device 200 may acquire a second captured image including the screen 10 on which the second pattern image is projected ( S2440 ).

여기서, 단말 장치(200)는 제2 촬영 영상, 색 공간 변환 매트릭스 및 제2 패턴 영상에 기초하여 컬러 보정을 수행할 수 있다 (S2445). 구체적으로, 단말 장치(200)는 제2 촬영 영상에 대응되는 RGB 정보를 색 공간 변환 매트릭스에 기초하여 제2 촬영 영상에 대응되는 색 공간 정보로 변경할 수 있다. 그리고, 단말 장치(200)는 제2 촬영 영상에 대응되는 색 공간 정보와 제2 패턴 영상에 대응되는 색 공간 정보 간 컬러 차이에 기초하여 컬러 보정을 수행할 수 있다. 여기서, 제2 패턴 영상에 대응되는 색 공간 정보는 단말 장치(200)에 이미 저장된 정보이거나 S2435 단계에서 함께 전송된 정보일 수 있다. 그리고, 단말 장치(200)는 컬러 보정 결과를 전자 장치(100)에 전송할 수 있다 (S2450).Here, the terminal device 200 may perform color correction based on the second captured image, the color space conversion matrix, and the second pattern image (S2445). Specifically, the terminal device 200 may change RGB information corresponding to the second captured image to color space information corresponding to the second captured image based on the color space conversion matrix. In addition, the terminal device 200 may perform color correction based on a color difference between the color space information corresponding to the second captured image and the color space information corresponding to the second pattern image. Here, the color space information corresponding to the second pattern image may be information already stored in the terminal device 200 or information transmitted together in step S2435. Then, the terminal device 200 may transmit the color correction result to the electronic device 100 (S2450).

한편, 도 24이외에도 본 개시의 설명에서 전자 장치(100)에서 수행된다고 기재된 색 공간 변환 매트릭스 획득 동작 및 컬러 보정 동작이 모두 단말 장치(200)에서 수행될 수 있다.Meanwhile, in addition to FIG. 24 , both the color space conversion matrix acquisition operation and the color correction operation described as being performed in the electronic device 100 in the description of the present disclosure may be performed in the terminal device 200 .

도 25는 스트리밍 데이터를 이용하여 컬러 보정 동작을 수행하는 실시 예를 설명하기 위한 흐름도이다.25 is a flowchart illustrating an embodiment of performing a color correction operation using streaming data.

도 25를 참조하면, 전자 장치(100)는 스크린 부재(30) 또는 스크린(10)을 포함하는 영상을 실시간으로 획득할 수 있다. 구체적으로, 전자 장치(100)는 전자 장치(100)가 영상을 투사하는 공간에 대응되는 실시간 스트리밍 영상을 획득할 수 있다 (S2505). 여기서, 전자 장치(100)는 스트리밍 영상에 스크린 부재(30)가 포함되는지 식별할 수 있다 (S2510).Referring to FIG. 25 , the electronic device 100 may acquire an image including the screen member 30 or the screen 10 in real time. Specifically, the electronic device 100 may acquire a real-time streaming image corresponding to the space in which the electronic device 100 projects the image (S2505). Here, the electronic device 100 may identify whether the screen member 30 is included in the streaming image (S2510).

스트리밍 영상에 스크린 부재(30)가 포함되어 있지 않으면 (S2510-N), 전자 장치(100)는 반복하여 스트리밍 영상을 획득할 수 있다. 스트리밍 영상에 스크린 부재(30)가 포함되어 있으면 (S2510-Y), 전자 장치(100)는 스크린 부재(30)에 제1 패턴 영상을 투사할 수 있다 (S2515).If the screen member 30 is not included in the streaming image (S2510-N), the electronic device 100 may repeatedly acquire the streaming image. If the screen member 30 is included in the streaming image (S2510-Y), the electronic device 100 may project the first pattern image on the screen member 30 (S2515).

또한, 전자 장치(100)는 제1 패턴 영상이 투사된 스크린 부재(30)를 포함하는 스트리밍 영상에 기초하여 색 공간 변환 매트릭스를 획득할 수 있다 (S2520). 구체적으로, 전자 장치(100)는 스크린 부재(30)를 포함하는 스트리밍 영상에 대응되는 RGB 정보 및 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 색 공간 변환 매트릭스를 획득할 수 있다.Also, the electronic device 100 may obtain a color space conversion matrix based on a streaming image including the screen member 30 onto which the first pattern image is projected ( S2520 ). Specifically, the electronic device 100 may obtain a color space conversion matrix based on RGB information corresponding to the streaming image including the screen member 30 and color space information corresponding to the first pattern image.

또한, 색 공간 변환 매트릭스를 획득한 이후, 전자 장치(100)는 스트리밍 영상에 스크린 부재(30)가 포함되는지 다시 식별할 수 있다 (S2525).Also, after obtaining the color space conversion matrix, the electronic device 100 may identify again whether the screen member 30 is included in the streaming image (S2525).

색 공간 변환 매트릭스를 획득한 이후 스트리밍 영상에 스크린 부재(30)가 포함되어 있으면 (S2525-Y), 전자 장치(100)는 스크린 부재(30)를 제거하도록 가이드하기 위한 UI를 투사할 수 있다 (S2530). 그리고, 반복하여 스크린 부재(30)가 스트리밍 영상에 포함되는지 식별할 수 있다. 색 공간 변환 매트릭스를 획득한 이후 스트리밍 영상에 스크린 부재(30)가 포함되어 있지 않으면 (S2525-N), 전자 장치(100)는 스크린(10)에 제2 패턴 영상을 투사할 수 있다 (S2535).If the screen member 30 is included in the streaming image after obtaining the color space conversion matrix (S2525-Y), the electronic device 100 may project a UI for guiding the removal of the screen member 30 ( S2530). And, it may be repeatedly identified whether the screen member 30 is included in the streaming image. If the screen member 30 is not included in the streaming image after obtaining the color space conversion matrix (S2525-N), the electronic device 100 may project the second pattern image on the screen 10 (S2535) .

또한, 전자 장치(100)는 제2 패턴 영상이 투사된 스크린(10)을 포함하는 스트리밍 영상에 기초하여 컬러 보정을 수행할 수 있다 (S2540). 구체적으로, 전자 장치(100)는 색 공간 변환 매트릭스에 기초하여 스크린(10)을 포함하는 스트리밍 영상에 대응되는 RGB 정보를 스크린(10)을 포함하는 스트리밍 영상에 대응되는 색 공간 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 스크린(10)을 포함하는 스트리밍 영상에 대응되는 색 공간 정보 및 제2 패턴 영상에 대응되는 색 공간 정보 간 컬러 차이에 기초하여 컬러 보정을 수행할 수 있다.Also, the electronic device 100 may perform color correction based on a streaming image including the screen 10 on which the second pattern image is projected (S2540). Specifically, the electronic device 100 may obtain RGB information corresponding to the streaming image including the screen 10 and color space information corresponding to the streaming image including the screen 10 based on the color space conversion matrix. have. In addition, the electronic device 100 may perform color correction based on a color difference between the color space information corresponding to the streaming image including the screen 10 and the color space information corresponding to the second pattern image.

도 26은 전자 장치(100), 단말 장치(200) 및 서버(300)를 포함하는 시스템을 설명하기 위한 도면이다.26 is a diagram for explaining a system including the electronic device 100 , the terminal device 200 , and the server 300 .

도 26을 참조하면, 서버(300)는 전자 장치(100) 및 단말 장치(200)와 통신 연결이 가능한 장치를 의미할 수 있다. 서버(300)는 전자 장치(100) 또는 단말 장치(200)에 필요한 정보를 전달할 수 있다.Referring to FIG. 26 , the server 300 may refer to a device capable of communication connection with the electronic device 100 and the terminal device 200 . The server 300 may transmit necessary information to the electronic device 100 or the terminal device 200 .

일 실시 예에 따라, 전자 장치(100) 및 단말 장치(200)가 서로 직접 정보를 송수신 할 수 있다.According to an embodiment, the electronic device 100 and the terminal device 200 may directly transmit/receive information to each other.

다른 실시 예에 따라, 전자 장치(100) 및 단말 장치(200)는 서버(300)를 통해 정보를 송수신할 수 있다.According to another embodiment, the electronic device 100 and the terminal device 200 may transmit/receive information through the server 300 .

일 예로, 단말 장치(200)는 촬영한 영상을 서버(300)에 전송하고, 서버(300)는 단말 장치(200)로부터 수신한 영상을 전자 장치(100)에 전송할 수 있다.For example, the terminal device 200 may transmit a captured image to the server 300 , and the server 300 may transmit an image received from the terminal device 200 to the electronic device 100 .

다른 예로, 단말 장치(200)에서 색 공간 변환 매트릭스를 이용하여 컬러 보정을 수행할 수 있다. 여기서, 서버(300)는 단말 장치(200)에 제1 패턴 영상과 관련된 정보 및 제2 패턴 영상과 관련된 정보를 전송할 수 있다. 여기서, 제1 패턴 영상과 관련된 정보는 제1 패턴 영상에 대응되는 색 공간 정보를 의미할 수 있다. 여기서, 제2 패턴 영상과 관련된 정보는 제2 패턴 영상에 대응되는 색 공간 정보를 의미할 수 있다. 또한, 단말 장치(200)가 생성한 컬러 보정 결과를 서버(300)에 전송할 수 있고, 서버(300)는 단말 장치(200)로부터 수신한 컬러 보정 결과를 전자 장치(100)에 전송할 수 있다.As another example, the terminal device 200 may perform color correction using a color space conversion matrix. Here, the server 300 may transmit information related to the first pattern image and information related to the second pattern image to the terminal device 200 . Here, the information related to the first pattern image may mean color space information corresponding to the first pattern image. Here, the information related to the second pattern image may mean color space information corresponding to the second pattern image. Also, the color correction result generated by the terminal device 200 may be transmitted to the server 300 , and the server 300 may transmit the color correction result received from the terminal device 200 to the electronic device 100 .

도 27은 촬영 영상에 대응되는 XYZ 색 공간 정보를 획득하는데 이용되는 색 공간 변환 매트릭스를 획득하는 과정을 설명하기 위한 도면이다.27 is a diagram for explaining a process of obtaining a color space conversion matrix used to obtain XYZ color space information corresponding to a captured image.

도 27을 참조하면, 실시 예(2700)는 색 공간 변환 매트릭스를 획득하는 개략적인 과정을 설명한다. 여기서, 색 공간 변환 매트릭스는 RGB 정보에서 XYZ 색 공간 정보로 변환하기 위한 매트릭스를 의미할 수 있다. 여기서, 행렬(2701)은 색 공간 변환 정보 또는 색 공간 변환 매트릭스를 의미할 수 있다. 그리고, 행렬(2701)은 3*3 행렬을 의미할 수 있다.Referring to FIG. 27 , an embodiment 2700 describes a schematic process of obtaining a color space conversion matrix. Here, the color space conversion matrix may mean a matrix for converting RGB information into XYZ color space information. Here, the matrix 2701 may mean color space conversion information or a color space conversion matrix. In addition, the matrix 2701 may mean a 3*3 matrix.

행렬(2701)은 9개의 미지수로 구성될 수 있다. 여기서, 9개의 미지수는 KXR, KXG, KXB, KYR, KYG, KYB, KZR, KZG, KZB일 수 있다. 9개의 미지수에 대한 정확한 값을 획득하기 위해, 전자 장치(100)는 3가지 실시 예(2710, 2720, 2730)를 이용할 수 있다. 실시 예(2710)는 Red 패턴 영상을 투사한 후 이를 촬영하는 실시 예이며, 실시 예(2720)는 Green 패턴 영상을 투사한 후 이를 촬영하는 실시 예이며, 실시 예(2730)는 Blue 패턴 영상을 투사한 후 이를 촬영하는 실시 예이다.The matrix 2701 may consist of 9 unknowns. Here, the nine unknowns may be KXR, KXG, KXB, KYR, KYG, KYB, KZR, KZG, and KZB. In order to obtain accurate values for the nine unknowns, the electronic device 100 may use three embodiments 2710 , 2720 , and 2730 . Embodiment 2710 is an embodiment of projecting a red pattern image and then photographing it, embodiment 2720 is an embodiment of projecting a green pattern image and then photographing it, and embodiment 2730 is an embodiment of photographing a blue pattern image This is an embodiment of photographing it after projecting it.

실시 예(2710)에서, 전자 장치(100)는 Red 패턴 영상을 투사할 수 있으며, Red 패턴 영상이 투사된 스크린 부재(30)를 포함한 촬영 영상을 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 촬영 영상에서 Red 패턴 영상에 대응되는 RGB 정보를 획득할 수 있다. 행렬(2701)은 색 공간 변환 매트릭스를 의미할 수 있으며, 9개의 미지수를 갖는 3*3 행렬을 의미할 수 있다. 행렬(2712)은 Red 패턴 영상이 투사된 스크린 부재(30)를 포함한 촬영 영상에 대응되는 RGB 정보를 의미할 수 있다. 또한, 행렬(2713)은 Red 패턴 영상에 대응되는 XYZ 색 공간 정보를 의미할 수 있다. 행렬(2713)은 촬영 영상을 획득하기 전에 이미 메모리(110)에 저장될 수 있다. 실시 예(2710)를 통해 색 공간 변환 매트릭스와 관련된 3개의 연립 방정식이 획득될 수 있다.In the embodiment 2710 , the electronic device 100 may project a red pattern image and acquire a captured image including the screen member 30 on which the red pattern image is projected. In addition, the electronic device 100 may acquire RGB information corresponding to the red pattern image from the acquired captured image. The matrix 2701 may mean a color space conversion matrix, and may mean a 3*3 matrix having 9 unknowns. The matrix 2712 may mean RGB information corresponding to a captured image including the screen member 30 on which the red pattern image is projected. Also, the matrix 2713 may mean XYZ color space information corresponding to the red pattern image. The matrix 2713 may already be stored in the memory 110 before acquiring the captured image. Through the embodiment 2710, three simultaneous equations related to the color space transformation matrix may be obtained.

실시 예(2720)에서, 전자 장치(100)는 Green 패턴 영상을 투사할 수 있으며, Green 패턴 영상이 투사된 스크린 부재(30)를 포함한 촬영 영상을 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 촬영 영상에서 Green 패턴 영상에 대응되는 RGB 정보를 획득할 수 있다. 행렬(2701)은 색 공간 변환 매트릭스를 의미할 수 있으며, 9개의 미지수를 갖는 3*3 행렬을 의미할 수 있다. 행렬(2722)은 Green 패턴 영상이 투사된 스크린 부재(30)를 포함한 촬영 영상에 대응되는 RGB 정보를 의미할 수 있다. 또한, 행렬(2723)은 Green 패턴 영상에 대응되는 XYZ 색 공간 정보를 의미할 수 있다. 행렬(2723)은 촬영 영상을 획득하기 전에 이미 메모리(110)에 저장될 수 있다. 실시 예(2720)를 통해 색 공간 변환 매트릭스와 관련된 3개의 연립 방정식이 획득될 수 있다.In the embodiment 2720 , the electronic device 100 may project a green pattern image and acquire a captured image including the screen member 30 on which the green pattern image is projected. In addition, the electronic device 100 may acquire RGB information corresponding to the green pattern image from the acquired captured image. The matrix 2701 may mean a color space conversion matrix, and may mean a 3*3 matrix having 9 unknowns. The matrix 2722 may mean RGB information corresponding to a captured image including the screen member 30 on which the green pattern image is projected. Also, the matrix 2723 may mean XYZ color space information corresponding to the green pattern image. The matrix 2723 may already be stored in the memory 110 before acquiring the captured image. Through the embodiment 2720 , three simultaneous equations related to the color space transformation matrix may be obtained.

실시 예(2730)에서, 전자 장치(100)는 Blue 패턴 영상을 투사할 수 있으며, Blue 패턴 영상이 투사된 스크린 부재(30)를 포함한 촬영 영상을 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 촬영 영상에서 Blue 패턴 영상에 대응되는 RGB 정보를 획득할 수 있다. 행렬(2701)은 색 공간 변환 매트릭스를 의미할 수 있으며, 9개의 미지수를 갖는 3*3 행렬을 의미할 수 있다. 행렬(2732)은 Blue 패턴 영상이 투사된 스크린 부재(30)를 포함한 촬영 영상에 대응되는 RGB 정보를 의미할 수 있다. 또한, 행렬(2733)은 Blue 패턴 영상에 대응되는 XYZ 색 공간 정보를 의미할 수 있다. 행렬(2733)은 촬영 영상을 획득하기 전에 이미 메모리(110)에 저장될 수 있다. 실시 예(2730)를 통해 색 공간 변환 매트릭스와 관련된 3개의 연립 방정식이 획득될 수 있다.In the embodiment 2730 , the electronic device 100 may project a blue pattern image and acquire a captured image including the screen member 30 on which the blue pattern image is projected. In addition, the electronic device 100 may acquire RGB information corresponding to the blue pattern image from the acquired captured image. The matrix 2701 may mean a color space conversion matrix, and may mean a 3*3 matrix having 9 unknowns. The matrix 2732 may mean RGB information corresponding to a captured image including the screen member 30 on which the blue pattern image is projected. Also, the matrix 2733 may mean XYZ color space information corresponding to the blue pattern image. The matrix 2733 may already be stored in the memory 110 before acquiring the captured image. Through the embodiment 2730 , three simultaneous equations related to the color space transformation matrix may be obtained.

전자 장치(100)는 3가지 실시 예(2710, 2720, 2730)를 통해 9개의 연립 방정식을 획득할 수 있으며, 9개의 연립 방정식을 이용하여 색 공간 변환 매트릭스에 포함된 9개의 미지수를 모두 찾을 수 있다. 결과적으로, 전자 장치(100)는 3*3 행렬의 색 공간 변환 매트릭스를 획득할 수 있다.The electronic device 100 may obtain nine simultaneous equations through three embodiments 2710 , 2720 , and 2730 , and may find all nine unknowns included in the color space conversion matrix using the nine simultaneous equations. have. As a result, the electronic device 100 may obtain a color space conversion matrix of a 3*3 matrix.

한편, 도 27에서는 RGB 정보에서 XYZ 색 공간 정보를 이용하는 실시 예에 대응되는 색 공간 변환 매트릭스를 획득하기 위해 3*3 행렬을 획득하였다. 하지만, 구현 예에 따라, XYZ 색 공간 정보 이외에 댜앙한 색 공간 정보가 이용될 수 있다. 구현 예에 따라, 전자 장치(100)는 3*3 행렬 이외에 다른 크기의 색 공간 변환 매트릭스를 획득할 수 있다.Meanwhile, in FIG. 27 , a 3*3 matrix is obtained to obtain a color space conversion matrix corresponding to an embodiment using XYZ color space information in RGB information. However, depending on implementation, various color space information may be used in addition to XYZ color space information. According to an implementation example, the electronic device 100 may obtain a color space conversion matrix having a size other than the 3*3 matrix.

도 28은 촬영 영상에 대응되는 RGB 정보와 촬영 영상에 대응되는 XYZ 색 공간 정보를 설명하기 위한 도면이다.28 is a diagram for explaining RGB information corresponding to a captured image and XYZ color space information corresponding to a captured image.

도 28을 참조하면, 전자 장치(100)는 촬영 영상에 대응되는 RGB 정보를 XYZ 색 공간 정보로 변환할 수 있다. 구체적으로, 전자 장치(100)는 촬영 영상에 대응되는 RGB 정보에 색 공간 변환 매트릭스를 곱하여 XYZ 색 공간 정보를 획득할 수 있다. 표(2810)는 RGB 정보를 나타내며, 표(2820)는 XYZ 색 공간 정보를 나타낼 수 있다.Referring to FIG. 28 , the electronic device 100 may convert RGB information corresponding to a captured image into XYZ color space information. Specifically, the electronic device 100 may obtain XYZ color space information by multiplying RGB information corresponding to a captured image by a color space conversion matrix. Table 2810 may indicate RGB information, and table 2820 may indicate XYZ color space information.

도 29는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.29 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.

본 실시 예에 따른 제1 패턴 영상 및 제2 패턴 영상을 저장할 수 있고 외부 단말 장치와 통신하는 전자 장치(100)의 제어 방법에 있어서, 투사면에 위치한 스크린 부재(30)에 제1 패턴 영상을 투사하는 단계 (S2905), 외부 단말 장치로부터 스크린 부재(30)가 촬영된 제1 촬영 영상이 수신되면, 제1 촬영 영상 및 제1 패턴 영상에 기초하여 변환 정보를 획득하는 단계 (S2910), 투사면에 제2 패턴 영상을 투사하는 단계 (S2915) 및 외부 단말 장치로부터 투사면이 촬영된 제2 촬영 영상이 수신되면, 제2 촬영 영상, 제2 패턴 영상 및 변환 정보에 기초하여 투사면의 특성에 따른 컬러 보정을 수행하는 단계 (S2920)를 포함한다.In the control method of the electronic device 100 capable of storing the first pattern image and the second pattern image and communicating with the external terminal device according to the present embodiment, the first pattern image is displayed on the screen member 30 located on the projection surface. Step of projecting (S2905), when the first captured image captured by the screen member 30 is received from the external terminal device, obtaining conversion information based on the first captured image and the first pattern image (S2910), projection Projecting the second pattern image on the slope (S2915) and when the second captured image of the projection surface is received from the external terminal device, the characteristics of the projection surface based on the second captured image, the second pattern image, and conversion information and performing color correction according to (S2920).

한편, 변환 정보는 색 공간 변환 정보이고, 변환 정보를 획득하는 단계 (S2910)는 제1 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있고, 제1 촬영 영상 및 제1 패턴 영상에 대응되는 색 공간 정보에 기초하여 전자 장치(100)에 포함된 프로젝션부(120)의 특성에 따른 색 공간 변환 정보를 획득할 수 있다.Meanwhile, the conversion information is color space conversion information, and the step of obtaining the conversion information ( S2910 ) may obtain color space information corresponding to the first pattern image, and a first captured image and a color corresponding to the first pattern image. Color space conversion information according to the characteristics of the projection unit 120 included in the electronic device 100 may be acquired based on the spatial information.

한편, 컬러 보정을 수행하는 단계는 (S2920) 제2 패턴 영상에 대응되는 색 공간 정보를 획득할 수 있고, 제2 촬영 영상, 제2 패턴 영상에 대응되는 색 공간 정보 및 색 공간 변환 정보에 기초하여 투사면의 특성에 따른 컬러 보정을 수행할 수 있다.Meanwhile, performing color correction may include obtaining color space information corresponding to the second pattern image ( S2920 ), and based on the second captured image, color space information corresponding to the second pattern image, and color space conversion information. Thus, color correction according to the characteristics of the projection surface can be performed.

한편, 변환 정보를 획득하는 단계 (S2910)는 제1 촬영 영상에 대응되는 RGB 정보와 제1 패턴 영상에 대응되는 XYZ색 공간 정보에 기초하여 색 공간 변환 정보를 획득할 수 있다.Meanwhile, in the step of obtaining the conversion information ( S2910 ), color space conversion information may be obtained based on RGB information corresponding to the first captured image and XYZ color space information corresponding to the first pattern image.

한편, 변환 정보는 RGB 정보를 XYZ 색 공간 정보로 변환하는 색 공간 변환 매트릭스일 수 있다.Meanwhile, the conversion information may be a color space conversion matrix that converts RGB information into XYZ color space information.

한편, 컬러 보정을 수행하는 단계는 (S2920) 변환 정보에 기초하여 제2 촬영 영상에 대응되는 RGB 정보를 XYZ 색 공간 정보로 변환할 수 있고, 제2 촬영 영상에 대응되는 XYZ색 공간 정보 및 제2 패턴 영상에 대응되는 XYZ색 공간 정보 간 컬러 차이를 획득할 수 있고, 획득된 컬러 차이에 기초하여 컬러 보정을 수행할 수 있다.Meanwhile, performing color correction may include converting RGB information corresponding to the second captured image into XYZ color space information based on the conversion information (S2920), and XYZ color space information corresponding to the second captured image and the second A color difference between XYZ color space information corresponding to the two pattern images may be obtained, and color correction may be performed based on the obtained color difference.

한편, 컬러 보정을 수행하는 단계는 (S2920) 획득된 컬러 차이에 기초하여 RGB 신호와 관련된 게인값 또는 오프셋 중 적어도 하나를 변경할 수 있다.Meanwhile, performing the color correction ( S2920 ) may change at least one of a gain value or an offset related to the RGB signal based on the obtained color difference.

한편, 제어 방법은 제1 촬영 영상에 스크린 부재(30)와 관련된 기 설정된 오브젝트가 포함된 것으로 식별되면, 제1 촬영 영상 및 제1 패턴 영상에 기초하여 변환 정보를 획득하는 단계 및 제1 촬영 영상에 스크린 부재(30)와 관련된 기 설정된 오브젝트가 포함되지 않은 것으로 식별되면, 스크린 부재(30)가 인식되지 않는다는 정보를 포함하는 UI를 투사하는 단계를 더 포함할 수 있다.Meanwhile, the control method includes the steps of: when it is identified that a preset object related to the screen member 30 is included in the first captured image, obtaining conversion information based on the first captured image and the first pattern image, and the first captured image When it is identified that the preset object related to the screen member 30 is not included, the method may further include projecting a UI including information that the screen member 30 is not recognized.

한편, 제1 패턴 영상을 투사하는 단계 (S2905)는 제1 패턴 영상에 포함된 복수의 패턴 영상 중 White 패턴 영상을 가장 먼저 투사할 수 있고 나머지 패턴 영상을 순차적으로 투사할 수 있다.Meanwhile, in the step of projecting the first pattern image ( S2905 ), a white pattern image among a plurality of pattern images included in the first pattern image may be projected first, and the remaining pattern images may be sequentially projected.

한편, 제1 패턴 영상은 Red, Green, Blue 또는 White패턴 중 적어도 하나를 포함할 수 있다. 여기서, 전자 장치(100)는 White 패턴을 가장 먼저 출력할 수 있다. 그리고, 전자 장치(100)는 Red, Green, Blue 패턴을 출력할 수 있다. White 패턴이 가장 먼저 출력되면, 그 이후 Red, Green, Blue 패턴의 순서는 사용자 설정에 따라 달라질 수 있다.Meanwhile, the first pattern image may include at least one of a red, green, blue, or white pattern. Here, the electronic device 100 may output the white pattern first. In addition, the electronic device 100 may output red, green, and blue patterns. When the white pattern is output first, the order of the red, green, and blue patterns thereafter may vary according to user settings.

한편, 스크린 부재(30)는 백색 스크린 부재일 수 있다. 일 예로, 스크린 부재(30)는 플라스틱 등의 재질로 투사면에 부착되거나 거치될 수 있는 평평한 소재일 수 있다. 이와 관련된 설명은 도5 및 도 7에서 기재한다. 다른 예로, 전자 장치(100)의 일부를 스크린 부재로 활용할 수 있도록 설계될 수 있다. 스크린 부재(30)는 기구부나 판넬로서 전자 장치(100)의 일부 구성일 수 있다. 이와 관련된 설명은 도 6, 도8, 도 10에서 기재한다.Meanwhile, the screen member 30 may be a white screen member. For example, the screen member 30 may be a flat material that can be attached to or mounted on the projection surface made of a material such as plastic. A description related thereto is described in FIGS. 5 and 7 . As another example, a part of the electronic device 100 may be designed to be used as a screen member. The screen member 30 may be a part of the electronic device 100 as a mechanism or a panel. Descriptions related thereto are described in FIGS. 6, 8, and 10 .

여기서, 스크린 부재(30)는 테두리가 제조사가 정의한 두께 및/또는 깊이만큼 굴절률이 다른 패턴으로 디자인 되어있을 수 있다. 따라서, 프로젝션부에서 특정 빛을 스크린 부재(30)에 투사했을 때 테두리와 그 외 영역의 굴절률이 다를 수 있다. 따라서, 카메라로 스크린 부재(30)가 촬영되는 경우 스크린 부재(30)가 영역에 따라 계조(밝기 혹은 색)가 다르게 인식될 수 있다.Here, the screen member 30 may be designed in a pattern in which the rim has a different refractive index by the thickness and/or depth defined by the manufacturer. Accordingly, when a specific light is projected from the projection unit to the screen member 30 , the refractive index of the edge and other regions may be different. Accordingly, when the screen member 30 is photographed by the camera, the gray level (brightness or color) may be recognized differently depending on the area of the screen member 30 .

또한, 굴절률이 다른 패턴은 전자 장치(100)와 같이 방향성을 가지는 빛을 투사했을 경우에는 잘 인지가 되지만 일반 자연광 혹은 실내등 하에서는 구별하기 쉽지 않도록 설계될 수 있다. 이런 방법으로 특정 모양이나 글자를 각인해서 카메라로 촬영 시 인식될 수 있다.In addition, patterns having different refractive indices are well recognized when directional light is projected as in the electronic device 100 , but may be designed not to be easily distinguished under general natural light or indoor light. In this way, a specific shape or character can be engraved and recognized when shooting with a camera.

사용자는 전자 장치(100) 구입 시 제공된 스크린 부재(30)를 출력 이미지가 투영되는 위치에 비치하여 출력 이미지의 전체 혹은 일부분이 스크린 부재(30)에 투영되도록 비치한다. 전자 장치(100)는 제조사 정의 스크린 부재 확인을 위해서 사전에 정의된 패턴 혹은 빛을 투사하여 육안으로 확인하거나 자동화를 위해서는 전자 장치(100)에 구비된 카메라 혹은 스마트폰 카메라로 이를 촬영하면 인식했을 때 Calibration 기능을 동작하도록 제공할 수 있다.When the user purchases the electronic device 100 , the screen member 30 is provided at a position where the output image is projected, so that all or a part of the output image is projected on the screen member 30 . The electronic device 100 projects a predefined pattern or light to confirm the manufacturer-defined screen member and confirms it with the naked eye, or when it is recognized by photographing it with a camera or a smartphone camera provided in the electronic device 100 for automation Calibration function can be provided to operate.

일 실시 예에 따라, 사전 보정 동작은 전자 장치(100)에서 제공하는 메뉴가 선택됨에 따라 수행될 수 있다. 여기서, 사전 보정 동작은 이미지를 투영하는 전자 장치(100) 및 전자 장치(100)와 단말 장치(200)를 통신 연결하고 프로젝션부(120)의 감도를 조절하는 동작을 포함할 수 있다.According to an embodiment, the pre-calibration operation may be performed when a menu provided by the electronic device 100 is selected. Here, the pre-calibration operation may include an operation of communicatively connecting the electronic device 100 for projecting an image and the electronic device 100 and the terminal device 200 , and adjusting the sensitivity of the projection unit 120 .

전자 장치(100)의 SW OSD 메뉴 중 pre-calibration 메뉴가 선택되면 전자 장치(100)가 주변에 카메라가 탑재된 사용자 단말 장치(200)를 찾아서 리스트를 출력할 수 있다. 사용자가 특정 기기를 선택하면, 전자 장치(100)는 특정 기기로 연결을 시도하는 메시지를 출력하고 사용자의 수락(또는 선택)을 대기할 수 있다. 전자 장치(100)는 자동으로 주변 기기를 WiFi, UPNP등의 방법으로 찾고 리스트를 출력할 수 있다. 여기서, 리스트는 기기 명칭, 기기 id, 기기의 개략적인 모양이 아이콘화 된 디바이스 모양, 기기 명칭 중 적어도 하나를 포함할 수 있다. 사용자에 의해 특정 기기가 선택되면, 전자 장치(100)는 임시로 pairing connection을 설정하고 사용자가 현재 선택한 (색 보정 기능을 수행하려는) 기기가 어떤 것인지 이미지로 출력할 수 있다.When a pre-calibration menu is selected among the SW OSD menus of the electronic device 100 , the electronic device 100 may search for a user terminal device 200 in which a camera is mounted nearby and output a list. When the user selects a specific device, the electronic device 100 may output a message attempting to connect to the specific device and wait for user acceptance (or selection). The electronic device 100 may automatically find a peripheral device by a method such as WiFi or UPNP and output a list. Here, the list may include at least one of a device name, a device id, a device shape in which a schematic shape of the device is an icon, and a device name. When a specific device is selected by the user, the electronic device 100 may temporarily establish a pairing connection and may output an image of the device currently selected by the user (for which a color correction function is to be performed).

여기서, 사용자가 원하는 기기가 아니면 임시 연결을 해제하고 다시 리스트를 출력하여 사용자가 연결 기기를 다시 선택할 수 있도록 가이드 이미지를 출력할 수 있다. 여기서, 전자 장치(100)는 연결 해제한 기기가 다시 선택되지 않도록 연결 해제한 기기와 관련된 정보를 회색으로 출력할 수 있다. 색상을 구분하여 주변 기기를 표시함으로써, 사용자는 전자 장치(100)와 연결 가능한 주변 기기를 쉽게 구별하여 표시할 수 있다.Here, if the device is not the user's desired device, the temporary connection may be released and the list may be output again, and a guide image may be output so that the user can select the connected device again. Here, the electronic device 100 may output information related to the disconnected device in gray so that the disconnected device is not selected again. By distinguishing colors and displaying peripheral devices, the user can easily distinguish and display the electronic device 100 and connectable peripheral devices.

사용자가 하나의 기기를 선택하면 전자 장치(100)와 선택된 기기 중 하나가 AP(Access Point)가 되고 pairing이 동작하여 전자 장치(100)와 선택된 기기 사이의 무선 통신이 가능한 상태가 될 수 있다. 여기서, 전자 장치(100)는 pairing된 기기의 명칭 혹은 물리 address 등을 저장하여 추후 다시 pairing이 필요할 시 저장된 정보를 이용할 수 있다. 연결 정보가 저장됨에 따라, 전자 장치(100)는 사용자가 선택할 시간을 단축할 수 있는 자동 접속 기능을 제공할 수 있다.When the user selects one device, one of the electronic device 100 and the selected device becomes an access point (AP), and pairing is performed to enable wireless communication between the electronic device 100 and the selected device. Here, the electronic device 100 may store the name or physical address of the paired device and use the stored information when pairing is required again later. As the connection information is stored, the electronic device 100 may provide an automatic connection function capable of shortening a time for a user to select.

다른 실시 예에 따라, 색 보정 예비 기능은 단말 장치(200)에서 제공하는 메뉴가 선택됨에 따라 수행될 수 있다.According to another embodiment, the color correction preliminary function may be performed when a menu provided by the terminal device 200 is selected.

단말 장치(200)의 어플리케이션에서 제공하는 pre-calibration 메뉴가 선택되면, 단말 장치(200)는 단말 장치(200)와 통신 연결이 가능한 주변 기기를 찾고 프로젝션 기능을 갖는 대상을 단말 장치(200)에 리스트로 표시할 수 있다. 사용자는 단말 장치(200)를 통해 표시된 리스트에서 특정 기기를 선택할 수 있다. 여기서, 리스트는 기기의 명칭, 기기의 id, 주변 기기에서 재생(또는 출력)되고 있는 이미지의 썸네일 중 적어도 하나를 포함할 수 있다.When the pre-calibration menu provided by the application of the terminal device 200 is selected, the terminal device 200 searches for peripheral devices capable of communication connection with the terminal device 200 , and provides a target having a projection function to the terminal device 200 . It can be displayed as a list. The user may select a specific device from the list displayed through the terminal device 200 . Here, the list may include at least one of the name of the device, the ID of the device, and thumbnails of images being reproduced (or output) in the peripheral device.

여기서, 리스트에서 하나의 주변 기기가 선택되면, 단말 장치(200)와 선택된 기기 중 하나가 AP(Access Point)가 되고 pairing이 동작하여 단말 장치(200)와 선택된 기기 사이의 무선 통신이 가능한 상태가 될 수 있다. 여기서, 단말 장치(200)는 pairing된 기기의 명칭 혹은 물리 address 등을 저장하여 추후 다시 pairing이 필요할 시 저장된 정보를 이용할 수 있다. 연결 정보가 저장됨에 따라, 단말 장치(200)는 사용자가 선택할 시간을 단축할 수 있는 자동 접속 기능을 제공할 수 있다.Here, when one peripheral device is selected from the list, one of the terminal device 200 and the selected device becomes an AP (Access Point), and pairing operates to enable wireless communication between the terminal device 200 and the selected device. can be Here, the terminal device 200 may store the name or physical address of the paired device and use the stored information when pairing is required again later. As the connection information is stored, the terminal device 200 may provide an automatic connection function capable of shortening a time for a user to select.

여기서, Pre-calibration은 다양한 휴대폰 카메라의 공정산포에 의한 calibration정확도 및 산포 문제를 해결하기 위해서 display와 calibration 기준점을 맞추는 과정일 수 있다. 이를 통해 다양한 스마트폰 카메라의 공정 산포 문제를 해결할 수 있다.Here, the pre-calibration may be a process of aligning the display and the calibration reference point in order to solve the problem of calibration accuracy and dispersion due to the process dispersion of various mobile phone cameras. Through this, it is possible to solve the process dispersion problem of various smartphone cameras.

한편, 색 보정 동작을 단말 장치(200)에서 수행하는 실시 예를 가정한다. 전자 장치(100)는 Red, Green, Blue의 패턴을 바꾸어 가면서 스크린 부재(30)에 출력하고 단말 장치(200)에 이미지를 촬영하라는 신호(flag)를 보낼 수 있다. 또한, 단말 장치(200)가 촬영한 이미지를 분석하고 분석한 결과에 따른 화질 조정 정보와 다음 패턴으로 바꾸라는 신호(flag)를 전자 장치(100)에 전송할 수 있다. 여기서, 전자 장치(100)가 출력한 Red 패턴을 단말 장치(200)가 촬영한 후 획득한 이미지에서 Red, Green, Blue 파장 정보를 추출하여 저장할 수 있다. 마찬가지로 전자 장치(100)가 출력한 Green, Blue를 단말 장치(200)가 촬영한 후 획득한 이미지에서 각각의 Red, Green, Blue 파장 정보를 분석해서 저장할 수 있다. 추가적으로, White 패턴을 분석 및 저장할 수 있다. 패턴 촬영 분석 정보 및 단말 장치(200)에 포함된 카메라의 R/G/B 반응 특성을 조합하여 단말 장치(200)는 정확한 RGB to XYZ color domain 변환을 위한 색 공간 변환 매트릭스를 생성할 수 있다. 색 공간 변환 매트릭스는 단말 장치(200)의 카메라에 의해 촬영된 이미지의 RGB 정보로부터 광학 색좌표 조정 위한 색 공간 변환에 이용될 수 있다.Meanwhile, an embodiment in which the color correction operation is performed by the terminal device 200 is assumed. The electronic device 100 may output a signal to the screen member 30 while changing the pattern of Red, Green, and Blue and send a flag to the terminal device 200 to take an image. In addition, the terminal device 200 may analyze the captured image and transmit image quality adjustment information according to the analysis result and a flag to change to the next pattern to the electronic device 100 . Here, red, green, and blue wavelength information may be extracted and stored from an image obtained after the terminal device 200 captures the red pattern output by the electronic device 100 . Similarly, each of Red, Green, and Blue wavelength information may be analyzed and stored in an image obtained after the terminal device 200 captures Green and Blue output by the electronic device 100 . Additionally, white patterns can be analyzed and stored. By combining the pattern shooting analysis information and the R/G/B response characteristics of the camera included in the terminal device 200 , the terminal device 200 may generate a color space conversion matrix for accurate RGB to XYZ color domain conversion. The color space conversion matrix may be used for color space conversion for optical color coordinate adjustment from RGB information of an image photographed by the camera of the terminal device 200 .

전자 장치(100) 또는 단말 장치(200)는 실제 스크린의 색깔이 달라도 원본 이미지 화질 혹은 사용자에 의해서 설정된 화질로 자동으로 색 보정할 수 있다.Even if the actual screen color is different, the electronic device 100 or the terminal device 200 may automatically color correct the original image quality or the image quality set by the user.

단말 장치(200) 및 전자 장치(100)간에 통신 연결이 설정되어 있다면, 별도로 기기를 선택할 필요 없이 바로 색 보정 기능이 수행될 수 있다.If a communication connection is established between the terminal device 200 and the electronic device 100 , a color correction function may be directly performed without the need to separately select a device.

만약, 이전 과정에서 색 공간 변환 매트릭스만 생성되고, 색 보정 동작이 완료되지 않은 경우, 전자 장치(100) 및 단말 장치(200)를 연결시키기 위한 동직이 수행될 수 있다. 사용자에 의해 특정 메뉴가 선택되면, 전자 장치(100)를 통해 리스트가 출력되거나 단말 장치(200)의 어플리케이션을 통해 리스트가 출력될 수 있다.If only the color space conversion matrix is generated in the previous process and the color correction operation is not completed, a dynamic for connecting the electronic device 100 and the terminal device 200 may be performed. When a specific menu is selected by the user, a list may be output through the electronic device 100 or a list may be output through an application of the terminal device 200 .

한편, 통신 연결이 설정된 후 전자 장치(100) 또는 단말 장치(200)에서 특정 메뉴가 선택되면, 전자 장치(100)는 색 보정 기능을 수행할 수 있다.Meanwhile, when a specific menu is selected in the electronic device 100 or the terminal device 200 after a communication connection is established, the electronic device 100 may perform a color correction function.

전자 장치(100)는 특정 색상을 가진 벽면을 스크린(10)으로 활용하는 경우 색 보정 기능이 필요할 수 있다. 구체적으로, 전자 장치(100)는 White 패턴을 스크린 부재(30)에 투사하고 투사가 완료되면 flag를 주어 촬영하라는 신호를 단말 장치(200)에 전송할 수 있다. 단말 장치(200)가 전자 장치(100)에서 출력되어 벽면에 반사된 White 패턴을 촬영한 후 RGB 이미지 전체 영역 중에서 사전에 정의된 연산 영역 (예를 들면 이미지 중심 NxN pixels)의 정보만을 활용하여 색 보정 기능을 수행할 수 있다.The electronic device 100 may require a color correction function when a wall having a specific color is used as the screen 10 . Specifically, the electronic device 100 may transmit a signal to the terminal device 200 to project the white pattern onto the screen member 30 and give a flag when the projection is completed. After the terminal device 200 takes a picture of the white pattern output from the electronic device 100 and reflected on the wall, color using only information of a predefined calculation area (eg, image center NxN pixels) among the entire RGB image area A correction function can be performed.

전자 장치(100)는 색 공간 변환 매트릭스를 활용하여 촬영한 이미지의 RGB 정보를 XYZ 색 공간 정보로 변환 후 색좌표를 산출할 수 있다. 여기서, 산출된 색좌표가 색 보정 기능을 통해 조정하려고 하는 타겟 색좌표와 얼마나 차이가 있는지 분석할 수 있다. 또한, 전자 장치(100)는 색좌표 보정을 위한 신호 변동(조정)값을 산출하고, 이 XYZ 색 공간에서 색좌표 보정 값을 다시 RGB 색 공간으로 역변환하여 (변환 Matrix의 역변환 Matrix로 산출 가능) RGB 보정값을 산출할 수 있다. 전자 장치(100)는 RGB 신호에 대한 Gain 및/또는 offset을 활용하여 출력 신호 레벨을 조정할 수 있다. 이 과정을 반복적으로 수행하여 오차가 기 결정된 임계값 이하가 되는 시점에 보정 과정이 완료될 수 있다.The electronic device 100 may calculate color coordinates after converting RGB information of a photographed image into XYZ color space information by using a color space conversion matrix. Here, it is possible to analyze how different the calculated color coordinates are from the target color coordinates to be adjusted through the color correction function. In addition, the electronic device 100 calculates a signal variation (adjustment) value for color coordinate correction, and inversely converts the color coordinate correction value from the XYZ color space back to the RGB color space (can be calculated as the inverse transformation matrix of the transformation matrix) RGB correction value can be calculated. The electronic device 100 may adjust the output signal level by using a gain and/or an offset for the RGB signal. By repeatedly performing this process, the correction process may be completed when the error becomes less than or equal to a predetermined threshold value.

한편, 색 보정 동작을 단말 장치(200)에서 수행하는 실시 예를 가정한다. 전자 장치(100)는 White 패턴을 출력하고 단말 장치(200)에 촬영하라는 flag를 줄 수 있다. 여기서, 단말 장치(200)가 촬영 및 분석이 완료되면, 단말 장치(200)가 분석한 결과 값과 다음 패턴을 바꾸라는 flag를 전자 장치(100)에 전달할 수 있다.Meanwhile, an embodiment in which the color correction operation is performed by the terminal device 200 is assumed. The electronic device 100 may output a white pattern and give a flag to the terminal device 200 to take a picture. Here, when the terminal device 200 completes the photographing and analysis, the terminal device 200 may transmit the analyzed result value and a flag to change the next pattern to the electronic device 100 .

한편, 색 보정 동작을 전자 장치(100)에서 수행하는 실시 예를 가정한다. 단말 장치(200)의 카메라는 촬영된 RGB정보를 전자 장치(100)에 전송하고, 전자 장치(100)가 색 공간 변환 및 RGB신호 출력 조정값 산출 그리고 조정까지 모두 할 수 있다. 이를 위해서 pre-calibration 단계에서 획득한 색 공간 변환 매트릭스는 전자 장치(100)에 저장된 후 단말 장치(200)로 공유하거나 그 역으로도 가능하고 혹은 서버(300)에서 보관하고 있다가 필요한 측에서 즉시 다운로드 받아 사용할 수 있다.Meanwhile, an embodiment in which the color correction operation is performed by the electronic device 100 is assumed. The camera of the terminal device 200 transmits the captured RGB information to the electronic device 100 , and the electronic device 100 may perform color space conversion, calculation of an RGB signal output adjustment value, and even adjustment. To this end, the color space conversion matrix obtained in the pre-calibration step is stored in the electronic device 100 and then shared with the terminal device 200 or vice versa. It can be downloaded and used.

여기서, 색 보정 기능을 수행하는 경우, 일 예로, 전자 장치(100)가 단말 장치(200)의 카메라로 획득한 RGB 이미지의 연산 영역 (RGB 이미지의 중심 NxN pixels)만 계산하여 중심 영역 기준으로 색 보정을 수행할 수 있다. 다른 예로, 전자 장치(100)는 획득한 RGB 이미지를 가로 세로 각각 X, Y개의 사각 영역으로 나누고 이 XxY 개의 사각 영역 중심에서 nxn개의 pixel을 각각 추출할 수 있다. 또한, 전자 장치(100)는 이를 각각 XYZ 색 공간으로 변환해서, XxY개의 색좌표와 RGB 이미지 중심 영역의 색좌표를 비교하여 벽변에서의 색 불균일도 동시에 보정할 수 있다. 구체적으로, 전자 장치(100)는 중심영역의 색좌표와 주변 영역의 색좌표 편차를 계산해서 프로젝션된 벽면의 불균일 특성을 산출할 수 있다. 또한, 전자 장치(100)는 전자 장치(100)에서 신호 조정 시 벽면 중심을 기준으로 외부로 갈수록 RGB 신호의 균일도를 맞출 수 있도록 오조정하는 절차를 거쳐서 보정할 수 있다. 전자 장치(100)에서 투사된 균일한 광학 신호 정보가 사용자가 프로젝션하려는 벽면에 반사되어 사용자의 눈에 인지될 때 벽면의 color 불균일까지 정밀하게 조정될 수 있다.Here, when performing the color correction function, as an example, the electronic device 100 calculates only the calculation area (NxN pixels at the center of the RGB image) of the RGB image acquired by the camera of the terminal device 200 and calculates the color based on the center area. Calibration can be performed. As another example, the electronic device 100 may divide the obtained RGB image into X and Y rectangular areas, respectively, and extract nxn pixels from the center of the XxY rectangular areas. Also, the electronic device 100 may convert each of these into an XYZ color space, compare the XxY color coordinates with the color coordinates of the RGB image center region, and correct color unevenness at the wall side at the same time. Specifically, the electronic device 100 may calculate the non-uniformity characteristic of the projected wall surface by calculating a deviation between the color coordinates of the central region and the color coordinates of the peripheral region. In addition, when the electronic device 100 adjusts the signal, the electronic device 100 may correct it through a procedure of misadjusting to match the uniformity of the RGB signal toward the outside based on the center of the wall. When uniform optical signal information projected from the electronic device 100 is reflected on a wall to be projected by the user and recognized by the user's eyes, even color unevenness of the wall may be precisely adjusted.

이렇게 단말 장치(200)가 연산 과정을 수행하거나 전자 장치(100)가 수행하는 것은 두 기기 간 processing power를 고려하여 단말 장치(200)나 전자 장치(100)가 판단 하에 자동적으로 서로의 역할을 완전히 바꾸거나 일부를 나누어서 processing하는 방법 등으로 변경 가능할 수 있다. 그리고, 이러한 역할의 분배가 옵션으로 고정하거나 유동적으로 변경될 수 있도록 사용자가 선택하는 형태로 구현될 수 있다.In this way, when the terminal device 200 performs the calculation process or the electronic device 100 performs the processing power between the two devices, the terminal device 200 or the electronic device 100 automatically completes each other's roles under the judgment. It may be changeable by changing it or dividing a part and processing it. In addition, the distribution of such roles may be implemented in a form selected by the user so that it can be fixed as an option or changed flexibly.

전자 장치(100)는 최초 촬영해서 분석하는 과정에서 해당 벽면은 본 직무발명에서 제공하려는 Wall Color 보정 기능으로 어느 수준까지 정확하게 보정할 수 있는지를 나타내는 결과 이미지를 출력할 수 있다. 여기서, 결과 이미지는 제품 내부 logic 처리 결과와 당사 기준의 Rule을 통해 알려주는 UI가 포함될 수 있다. 전자 장치(100)는 벽면의 색상을 측정하고 현재 수준의 벽면에 White pattern을 투사할 수 있다. 그리고, 전자 장치(100)는 촬영한 결과를 분석하여 전자 장치(100)에서 조정 가능한 신호 변동 범위(예를 들어, min, max)를 계산해서 얼마나 정확하게 조정할 수 있는지 계산할 수 있다. 또한, 전자 장치(100)는 신호처리 추정 결과에 의해 정확도가 당사가 제공하려는 최소 수준 이하인 경우, 경고 이미지 또는 정확도에 대한 안내 사항 중 적어도 하나를 출력할 수 있다. 여기서, 전자 장치(100)는 예측된 Calibration 정확도에 대한 Guide 후 사용자가 Calibration을 진행할지 혹은 중단할지 확인하는 동작을 제공할 수 있다.The electronic device 100 may output a result image indicating to what level the wall can be accurately corrected by the wall color correction function to be provided by the present invention in the process of first photographing and analyzing. Here, the result image may include a UI that informs the product internal logic processing result and our standard rule. The electronic device 100 may measure the color of the wall and project a white pattern on the wall of the current level. In addition, the electronic device 100 may analyze the photographed result and calculate a signal variation range (eg, min, max) adjustable by the electronic device 100 to calculate how accurately it can be adjusted. In addition, when the accuracy is less than or equal to the minimum level that the company intends to provide according to the signal processing estimation result, the electronic device 100 may output at least one of a warning image or an accuracy guide. Here, the electronic device 100 may provide an operation for confirming whether the user proceeds or stops the calibration after the guide for the predicted calibration accuracy.

이 과정을 통해 projection 표면의 색이 white 계열이 아닌 특정 color를 갖더라도, 의도한 XYZ 컬러 공간의 색좌표로 정밀 조정이 가능하다. 기존 RGB color space상의 색의 보정은 인지 색과 상이하나 본 발명의 XYZ space를 활용하여 color를 보정하는 방법을 통해 white 스크린처럼 원본과 동일한 color로 보이는 조정이 가능하다. 전자 장치(100)는 조정이 완료된 후에는 조정 전과 조정 후의 조정화질 변화를 표시할 수 있다. 그리고, 전자 장치(100)는 조정 전과 조정 후의 설정을 사용자가 선택하도록 UI를 제공할 수 있다.Through this process, even if the color of the projection surface has a specific color other than white, it is possible to precisely adjust the color coordinates of the intended XYZ color space. The color correction in the existing RGB color space is different from the perceived color, but through the method of correcting the color using the XYZ space of the present invention, it is possible to adjust the color to appear the same as the original color like a white screen. After the adjustment is completed, the electronic device 100 may display a change in the adjusted image quality before and after the adjustment. In addition, the electronic device 100 may provide a UI for the user to select settings before and after adjustment.

사용자에 의해 최종 선택되면, 전자 장치(100)는 설정값을 저장할 수 있다. 그리고, 추후 같은 벽면에 전자 장치(100)가 이용되는 경우, 전자 장치(100)는 저장된 설정값을 다시 불러와서 쓸 수 있다. 설정값은 전자 장치(100) 이외에 단말 장치(200) 또는 서버(300)에 저장되는 형태로 구현될 수 있다.When finally selected by the user, the electronic device 100 may store the setting value. In addition, when the electronic device 100 is used on the same wall later, the electronic device 100 may recall and use the stored setting values again. The setting value may be implemented in the form of being stored in the terminal device 200 or the server 300 other than the electronic device 100 .

한편, 전자 장치(100)는 화질이 조정된 벽면에 대한 정보(댁내 위치, 해당 벽면에 프로젝터에서 White를 투사했을 때 측정 Color 분포 등 조정 과정에서의 벽면을 특정할 수 있는 정보)를 저장하여 사용자가 이동이 편리한 portable 프로젝터를 사용하는 상황에서 쉽게 적용할 수 있다.On the other hand, the electronic device 100 stores information on the wall whose image quality has been adjusted (information that can specify the wall surface in the adjustment process, such as the location of the house, the distribution of measured color when white is projected on the wall by the projector) to the user. It can be easily applied in situations where portable projectors are convenient to move.

한편, 전자 장치(100)는 스크린이 어떤 재질 또는 어떤 색상이든 상관없이 원본 이미지의 화질을 변함없이 제공할 수 있다. 따라서, 프로젝터 기능성 또는 활용성을 높일 수 있다.Meanwhile, the electronic device 100 may consistently provide the quality of the original image regardless of any material or color of the screen. Accordingly, it is possible to increase the functionality or usability of the projector.

100: 전자 장치
110: 메모리
120: 프로젝션부
130: 프로세서
150: 통신 인터페이스100: electronic device
110: memory
120: projection unit
130: processor
150: communication interface

Claims

In an electronic device,
a memory for storing the first pattern image and the second pattern image;
a communication interface for communicating with an external terminal device;
projection unit; and
Controls the projection unit to project the first pattern image on the screen member located on the projection surface,
When a first captured image of the screen member is received from the external terminal device through the communication interface, conversion information is obtained based on the first captured image and the first pattern image,
controlling the projection unit to project the second pattern image on the projection surface,
When the second photographed image of the projection surface is received from the external terminal device through the communication interface, the color according to the characteristics of the projection surface based on the second photographed image, the second pattern image, and the conversion information A processor that performs calibration; including, an electronic device.

According to claim 1,
The conversion information is
color space conversion information,
The processor is
obtaining color space information corresponding to the first pattern image;
and obtaining the color space conversion information according to a characteristic of the projector based on the first captured image and color space information corresponding to the first pattern image.

3. The method of claim 2,
The processor is
obtaining color space information corresponding to the second pattern image;
and performing color correction according to characteristics of the projection surface based on the second captured image, color space information corresponding to the second pattern image, and the color space conversion information.

3. The method of claim 2,
The processor is
and obtaining the color space conversion information based on RGB information corresponding to the first captured image and XYZ color space information corresponding to the first pattern image.

According to claim 1,
The conversion information is
An electronic device, which is a color space conversion matrix that converts RGB information into XYZ color space information.

According to claim 1,
The processor is
converting RGB information corresponding to the second captured image into XYZ color space information based on the conversion information;
obtaining a color difference between XYZ color space information corresponding to the second captured image and XYZ color space information corresponding to the second pattern image;
and performing the color correction based on the obtained color difference.

7. The method of claim 6,
The processor is
and changing at least one of a gain value or an offset related to an RGB signal based on the obtained color difference.

According to claim 1,
The processor is
When it is identified that a preset object related to the screen member is included in the first captured image, the conversion information is obtained based on the first captured image,
When it is identified that a preset object related to the screen member is not included in the first captured image, the electronic device controls the projection unit to project a UI including information indicating that the screen member is not recognized.

According to claim 1,
The first pattern image,
It includes at least one of a White pattern image, a Red pattern image, a Green pattern image, or a Blue pattern image,
The second pattern image,
An electronic device comprising a white pattern image.

10. The method of claim 9,
The processor is
and controlling the projection unit so that the white pattern image is first projected among the plurality of pattern images included in the first pattern image and the remaining pattern images are sequentially projected.

A method of controlling an electronic device that stores a first pattern image and a second pattern image and communicates with an external terminal device, the method comprising:
projecting the first pattern image on a screen member located on the projection surface;
obtaining conversion information based on the first captured image and the first pattern image when the first captured image of the screen member is received from the external terminal device;
projecting the second pattern image on the projection surface; and
performing color correction according to characteristics of the projection surface based on the second photographed image, the second pattern image, and the conversion information when the second photographed image of the projection surface is received from the external terminal device A control method, including;

12. The method of claim 11,
The conversion information is
color space conversion information,
The step of obtaining the conversion information includes:
obtaining color space information corresponding to the first pattern image;
and obtaining the color space conversion information according to a characteristic of a projection unit included in the electronic device based on the first captured image and color space information corresponding to the first pattern image.

13. The method of claim 12,
Performing the color correction comprises:
obtaining color space information corresponding to the second pattern image;
performing color correction according to characteristics of the projection surface based on the second captured image, color space information corresponding to the second pattern image, and the color space conversion information.

13. The method of claim 12,
The step of obtaining the conversion information includes:
and obtaining the color space conversion information based on RGB information corresponding to the first captured image and XYZ color space information corresponding to the first pattern image.

12. The method of claim 11,
The conversion information is
A control method, which is a color space conversion matrix that converts RGB information into XYZ color space information.

12. The method of claim 11,
Performing the color correction comprises:
converting RGB information corresponding to the second captured image into XYZ color space information based on the conversion information;
obtaining a color difference between XYZ color space information corresponding to the second captured image and XYZ color space information corresponding to the second pattern image;
performing the color correction based on the obtained color difference.

17. The method of claim 16,
Performing the color correction comprises:
changing at least one of a gain value or an offset related to an RGB signal based on the obtained color difference.

12. The method of claim 11,
The control method is
obtaining the conversion information based on the first captured image and the first pattern image when it is identified that the first captured image includes a preset object related to the screen member; and
When it is identified that a preset object related to the screen member is not included in the first captured image, projecting a UI including information indicating that the screen member is not recognized; further comprising a control method.

12. The method of claim 11,
The first pattern image,
It includes at least one of a White pattern image, a Red pattern image, a Green pattern image, or a Blue pattern image,
The second pattern image,
A control method comprising a white pattern image.

20. The method of claim 19,
Projecting the first pattern image comprises:
A control method of projecting the white pattern image first among a plurality of pattern images included in the first pattern image and sequentially projecting the remaining pattern images.