WO2020141808A1 - 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법 - Google Patents

외부 장치의 콘텐트를 편집하는 전자 장치 및 방법 Download PDF

Info

Publication number
WO2020141808A1
WO2020141808A1 PCT/KR2019/018563 KR2019018563W WO2020141808A1 WO 2020141808 A1 WO2020141808 A1 WO 2020141808A1 KR 2019018563 W KR2019018563 W KR 2019018563W WO 2020141808 A1 WO2020141808 A1 WO 2020141808A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
content
information
image
various embodiments
Prior art date
Application number
PCT/KR2019/018563
Other languages
English (en)
French (fr)
Inventor
강동구
김창원
김현진
박찬웅
유임경
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/309,954 priority Critical patent/US11810231B2/en
Publication of WO2020141808A1 publication Critical patent/WO2020141808A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the electronic device can transmit and receive data to and from an external electronic device using a wired and wireless interface. Such an electronic device can interwork with an external electronic device to display content on the external electronic device.
  • An electronic device can interwork with an external electronic device to display content on the external electronic device.
  • control of the external electronic device interlocked may be required to display content in a desired location in the interlocked external electronic device.
  • a method for providing convenience to a user may be required by providing functions for displaying content on a desired location in an external electronic device interlocked with the electronic device.
  • An electronic device identifies an object from content being displayed on the display in response to a camera circuit, communication circuit, display, memory storing instructions, and user input, and through the camera
  • the object superimposed on the acquired image is displayed through the display, and the image includes at least a part of other content displayed by another electronic device, and while displaying the object, other electronics are displayed through the communication circuit.
  • a processor configured to transmit information about the object and information about the location such that the object is included in the location in the other content.
  • An operation method of an electronic device is to identify an object from content displayed on the electronic device in response to a user input, and to superimpose an image acquired by the electronic device. Displaying an object, and the image includes at least a portion of other content displayed by another electronic device, and while displaying the object, from another electronic device, for the other content displayed by the other electronic device In response to receiving information, determining the position of the object to be included in the other content, based on the acquired image and information about the other content, and in response to receiving the specified input, the object And transmitting information about the object and information about the location so as to be included in the location in the other content.
  • An electronic device and method may provide functions for displaying content in a desired location in an external electronic device interlocked with the electronic device.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG 2 illustrates an operation of an electronic device according to various embodiments.
  • FIG 3 illustrates various examples of objects included in an image being displayed on an electronic device according to various embodiments.
  • FIG 4 illustrates an operation of an electronic device according to various embodiments.
  • FIG 5 illustrates various examples of an operation of an electronic device extracting an object according to various embodiments.
  • FIG 6 illustrates an operation of an electronic device according to various embodiments.
  • FIG 7 illustrates an example of an operation in which an electronic device connects to another electronic device according to various embodiments.
  • FIG 8 illustrates an operation of an electronic device according to various embodiments.
  • FIG 9 illustrates an example of an operation in which an electronic device includes an extracted object in content of another electronic device according to various embodiments of the present disclosure.
  • FIG 10 illustrates an operation of an electronic device according to various embodiments.
  • FIG. 11 illustrates an example of an operation in which an electronic device determines a location according to various embodiments.
  • FIG 12 illustrates an operation of an electronic device according to various embodiments.
  • FIG. 13 illustrates an example of an operation in which an electronic device determines a location according to various embodiments.
  • FIG 14 illustrates an operation of an electronic device according to various embodiments.
  • 15 shows an example of a screen being displayed on another electronic device.
  • 16 illustrates an example of an operation in which an electronic device edits an object according to various embodiments.
  • FIG 17 illustrates an example of an operation in which an electronic device edits an object according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through the first network 104 (eg, a short-range wireless communication network), or the second network 105 ( For example, it may communicate with the electronic device 102 or the server 103 through a remote wireless communication network.
  • the first network 104 eg, a short-range wireless communication network
  • the second network 105 e.g., it may communicate with the electronic device 102 or the server 103 through a remote wireless communication network.
  • the electronic device 101 includes a processor 110, a communication circuit 120, a camera circuit 130, a display device 140, an input device 150, a memory 160, or a combination thereof. can do.
  • the electronic device 101 may include one or more other components (eg, sensor circuit) in addition to these components. In various embodiments, some of these components may be implemented as one integrated circuit.
  • the processor 110 executes software (eg, a program) to control at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 110. Can perform various data processing or operations.
  • software eg, a program
  • at least one other component eg, hardware or software component
  • the processor 110 may extract an object included in content being displayed on the display device 140 in response to a user input (eg, a touch input).
  • the content may include an image, electronic document, video, or a combination thereof.
  • the object may include an image object, text object, data object, or combinations thereof.
  • the image object may be an identifiable shape (eg, puppy shape, human shape) included in the content.
  • the text object may be identifiable text included in the content.
  • the data object is represented by information included in the metadata of the content (eg, a webpage address included in the metadata of the screenshot image representing the webpage), an image object of the content, a text object, or a combination thereof Information, or combinations thereof.
  • the data object for the image object may include a recognizable discount code, discount period, discount product, or combination thereof included in the discount coupon.
  • the data object for the text object may include instructions for accessing the URL.
  • the processor 110 may acquire an image by activating the camera circuit 130 in response to a user input (eg, a touch input).
  • the processor 110 may display an image acquired by the camera circuit 130 through the display device 140.
  • the processor 110 may superimpose the extracted object on the image acquired by the camera circuit 130 and display the superimposed extracted object on the display device 140.
  • the processor 110 superimposes the extracted object on a set position of an image acquired by the camera circuit 130 (eg, a position on an image corresponding to a set position of the image sensor of the camera circuit 130). can do.
  • the set position of the image may be a center position (eg, a position on the image corresponding to the center position of the image sensor of the camera circuit 130).
  • the processor 110 may edit an object that is superimposed on an image acquired by the camera circuit 130 and displayed through the display device 140 in response to a user input (eg, a touch input). .
  • the processor 110 in response to a signal detecting that the electronic device 101 is tilted through the sensor circuit 170, rotates the object and the camera circuit 130 acquires the rotated object It can be superimposed on the image and displayed through the display device 140.
  • the processor 110 in response to a signal detecting that the electronic device 101 is rotated through the sensor circuit 170, the processor 110 inverts an object (eg, invert left and right, invert up and down), and inverted object May be superimposed on the image acquired by the camera circuit 130 and displayed through the display device 140.
  • the processor 110 may control the communication circuit 120 to transmit the content being displayed by the display device 140 to the server 103 in response to a user input (eg, a touch input). .
  • the processor 110 may control the communication circuit 120 to receive information about an object included in the content or objects related to the object included in the content from the server 103.
  • the object associated with the object included in the content may be objects determined by the server 103 as an object similar to objects recognized by the content.
  • the server 103 when the server 103 recognizes the object representing the puppy in the content, the server 103 is the same as the puppy represented by the object, or the object representing the puppy of a similar breed, and the pose of the puppy represented by the object , Or an object representing a puppy in a similar pose, or a combination thereof, may be determined as an associated object.
  • the processor 110 may control the communication circuit 120 to perform a connection with the electronic device 102 in response to a user input (eg, a touch input). In various embodiments, the processor 110 may control the communication circuit 120 to be connected to the electronic device 102 through the first network 104 or the second network 105. In various embodiments, when the electronic device 101 is connected to the server 103 through the second network 105 and the electronic device 102 is connected to the server 103 through the second network 105, the electronic It can be evaluated that the device 101 and the electronic device 102 are connected to each other through the server 103.
  • the processor 110 communicates with the electronic device 102 to request information about other content that the electronic device 102 is displaying, and to receive information about other content from the electronic device 102. 120 can be controlled.
  • other content may be an image, text, video, or combination thereof.
  • information on other content may include data for displaying the other content on the display device 140 and data input fields (eg, an address input window, a text input field, and an image input field) included in other content.
  • Type information about an application used by different electronic devices 102 to display different content, whether an identifier (for example, binary code) is superimposed on other content, a value indicated by the superimposed identifier on other content, and the superimposed identifier It may include information about the location on the other content, or a combination thereof.
  • the electronic device 102 may transmit information about other content to the server 103.
  • the processor 110 may determine the location of other content displayed by the electronic device 102 based on the image acquired through the camera circuit 130. In various embodiments, the processor 110 may determine the location of other content displayed by the electronic device 102 based on information about the image and other content acquired through the camera circuit 130. In various embodiments, an image acquired through the camera circuit 130 may be an image acquired by photographing at least a portion of other content displayed by the electronic device 102. In various embodiments, the processor 110 may determine a location of at least a portion of other content by comparing an image being acquired through the camera circuit 130 with other content displayed by the electronic device 102. However, it is not limited thereto.
  • the processor 110 transmits an image acquired through the camera circuit 130 to the server 103, and the electronic represented by the image acquired through the camera circuit 130 to the server 103
  • the device 102 may request to determine the location of other content being displayed.
  • the processor 110 requests the location of the server 103 to determine the location of other content displayed by the electronic device 102 based on the image being acquired through the camera circuit 130. Can decide.
  • the processor 110 sets a virtual identification line on an image acquired through the camera circuit 130, and based on the established virtual identification line, another electronic device 102 displays The location of the content can be determined.
  • the virtual identification line is obtained through the camera circuit 130, another image representing all or at least a portion of the display device of the electronic device 102, the electronic device 101 is based on the other image. It may be an identifier that is set and overlapped with the display device 140.
  • the processor 110 recognizes an identifier that the display device of the electronic device 102 overlaps and displays in an image acquired through the camera circuit 130, and based on the recognized identifier, the electronic The location of other content being displayed by the device 102 may be determined.
  • the identifier may be a binary code (eg, a quick response (QR) code).
  • the identifier may be displayed on a layer of other content being displayed by the display device of the electronic device 102.
  • the identifier may be distinguished from other content.
  • the processor 110 in response to a user input (eg, a touch input), displays information about the extracted object and information about the location so that the extracted object is included in the determined location of the other content.
  • the communication circuit 120 can be controlled to transmit to 102).
  • the processor 110 may request the server 103 to transmit information about the object, information about the location, or a combination thereof to the electronic device 102.
  • the communication circuit 120 establishes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, or the server 103). , And support for performing communication through the established communication channel.
  • the communication circuit 120 may include a wireless communication circuit (eg, a cellular communication circuit, a short-range wireless communication circuit, or a global navigation satellite system (GNSS) communication circuit) or a wired communication module (eg, a local area network (LAN)). Communication circuits, or power line communication circuits).
  • GNSS global navigation satellite system
  • LAN local area network
  • the corresponding communication circuit among these communication circuits includes a first network 104 (eg, a short-range communication network such as Bluetooth, WiFi direct, or an infrastructure data association (IrDA)) or a second network 105 (eg, a cellular network, the Internet, or It may communicate with an external electronic device (eg, the electronic device 102, or the server 103) through a computer network (eg, a telecommunication network, such as a LAN or WAN).
  • a first network 104 eg, a short-range communication network such as Bluetooth, WiFi direct, or an infrastructure data association (IrDA)
  • a second network 105 eg, a cellular network, the Internet, or It may communicate with an external electronic device (eg, the electronic device 102, or the server 103) through a computer network (eg, a telecommunication network, such as a LAN or WAN).
  • a computer network eg, a telecommunication network, such as a LAN or WAN
  • the camera circuit 130 may capture still images and videos.
  • camera circuit 130 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the camera circuit 130 may obtain information about the depth of the image.
  • the display device 140 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display device 140 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 140 may include a touch circuitry configured to sense a touch, or a sensor circuit (eg, a pressure sensor) configured to measure the strength of the force generated by the touch. have.
  • the input device 150 may receive commands or data to be used for components (eg, the processor 110) of the electronic device 101 from outside (eg, a user) of the electronic device 101.
  • the input device 150 may include a microphone, mouse, keyboard, touch screen, or a combination thereof.
  • the memory 160 may store various data used by at least one component (eg, the processor 110) of the electronic device 101.
  • the data may include, for example, software (eg, a program) and input data or output data for commands related thereto.
  • the memory 160 may include volatile memory or nonvolatile memory.
  • the sensor circuit 170 senses an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state can do.
  • the sensor circuit 170 includes, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biological sensor, and a temperature It may include a sensor, a humidity sensor, or an illuminance sensor.
  • the electronic device 102 may include the same components as the electronic device 101.
  • the electronic device 102 may be implemented as a device having a display device such as a television, a personal computer (PC), a smart phone, and a refrigerator.
  • a display device such as a television, a personal computer (PC), a smart phone, and a refrigerator.
  • the server 103 may perform a process corresponding to a request from the electronic device 101 and then deliver the result to the electronic device 101, the electronic device 102, or a combination thereof.
  • FIG. 2 illustrates an operation of the electronic device 101 according to various embodiments. 2 is described with reference to components of the electronic device 101 shown in FIG. 1.
  • FIG. 3 is objects 311, 321, 331 341, 351, or 361 included in images being displayed on electronic devices 310, 320, 330, 340, 350, or 360 according to various embodiments of the present disclosure. It shows.
  • the electronic devices 310, 320, 330, 340, 350, or 360 illustrated in FIG. 3 may be included in the electronic device 101 illustrated in FIG. 1.
  • the processor 110 of the electronic device 101 may extract an object included in content.
  • the processor 110 may extract an object included in content being displayed on the display device 140.
  • processor 110 may extract one or more objects from the content.
  • the object included in the content is an image (eg, an image including depth information obtained through the camera circuit 130, a portable network graphic (PNG) image)), text (eg, a document file) It may be included text, text included in an image format in an image), data (eg, uniform resource locator (URL), discount code).
  • PNG portable network graphic
  • URL uniform resource locator
  • the object included in the content may be a human-shaped image object 311 included in an image represented by the screen being displayed on the electronic device 310 of FIG. 3A, or a screen being displayed on the electronic device 320 of FIG. 3B.
  • Image object 321 of a dog shape included in the image represented by this text object 331 included in a web page represented by the screen being displayed by the electronic device 330 of FIG. 3C, and display by the electronic device 340 of FIG. 3D
  • the data object 361 included in the web page indicated by the screen being displayed at 360 may be included, or a combination thereof.
  • the image displayed by the screen being displayed on the electronic device 310 of FIG. 3A may be an image including depth information acquired through the camera circuit 130.
  • the image displayed by the screen being displayed on the electronic device 320 of FIG. 3B may be a PG image.
  • the text object 331 included in the web page indicated by the screen being displayed on the electronic device 330 of FIG. 3C may be texts selected by a user input.
  • the 3D is processed by the processor 110 to perform optical character recognition (OCR) in the image. It can be extractable texts.
  • OCR optical character recognition
  • the data object 351 included in the data object 351 included in the image (eg, coupon image) indicated by the screen being displayed on the electronic device 330 of FIG. 3E is the processor 110 is connected to the image. It may be extractable data based on the included metadata and optical character recognition.
  • the data object 361 included in the webpage indicated by the screen being displayed on the electronic device 360 of FIG. 3F may be data (eg, a webpage address) extractable from the webpage.
  • the objects included in the content are not limited to these.
  • the processor 110 of the electronic device 101 may connect with another electronic device (eg, the electronic device 102 ).
  • the processor 110 of the electronic device 101 may connect to another electronic device (eg, the electronic device 102) using the communication circuit 120.
  • the processor 110 of the electronic device 101 may connect with another electronic device (eg, the electronic device 102) based on user input related to the content being displayed.
  • the user input related to the content being displayed may be a touch input to a button (eg, icon) displayed at a predetermined location of the content.
  • the processor 110 of the electronic device 101 is based on a user input, to another electronic device (eg, the electronic device 102) indicated by a button (eg, icon) displayed at a predetermined location of the content.
  • a button eg, icon
  • the processor 110 of the electronic device 101 is based on a user input, to another electronic device (eg, the electronic device 102) indicated by a button (eg, icon) displayed at a predetermined location of the content.
  • a button eg, icon
  • Operation 230 is described below with reference to FIGS. 6 and 7.
  • the processor 110 of the electronic device 101 may display an object superimposed on the image acquired through the camera circuit 130 on the display device 140. .
  • the processor 110 of the electronic device 101 superimposes the object extracted in operation 210 on the image being acquired through the camera circuit 130 and displays the superimposed object on the image 140 ).
  • the processor 110 of the electronic device 101 may superimpose the object on the image such that the center of the object is placed at the center of the image being acquired through the camera circuit 130.
  • the processor 110 of the electronic device 101 may superimpose the object on the image so that the object is centered in the center of the display device 140.
  • the processor 110 of the electronic device 101 may superimpose an object superimposed on the first location of the image on the second location of the image based on user input.
  • the operation 250 will be described below with reference to FIGS. 8 and 9.
  • the processor 110 of the electronic device 101 is another electronic device (eg, the electronic device 102) based on the image being acquired through the camera circuit 130. Can determine the location on other content that is displayed.
  • the operation 270 will be described below with reference to FIGS. 8 to 13.
  • the processor 110 of the electronic device 101 may transmit object information and location information to include the extracted object at a determined location of other content.
  • the processor 110 of the electronic device 101 may transmit object information and location information to another electronic device (eg, the electronic device 102). Operation 290 is described below with reference to FIGS. 14 and 15.
  • FIG. 4 illustrates an operation of the electronic device 101 according to various embodiments. Operations of the electronic device 101 illustrated in FIG. 4 may be included in operation 210 of the electronic device 101 illustrated in FIG. 2. 4 is described with reference to components of the electronic device 101 shown in FIG. 1.
  • FIG. 5 illustrates various examples 502, 512, 522, 532, and 542 of an operation in which electronic devices 511, 521, 531, and 541 extract an object according to various embodiments.
  • the electronic devices 511, 521, 531, and 541 illustrated in FIG. 5 may be included in the electronic device 101 illustrated in FIG. 1.
  • the processor 110 of the electronic device 101 may recognize an object included in content being displayed by the display device 140.
  • the processor 110 of the electronic device 101 may recognize one or more objects in content being displayed on the display device 140.
  • the processor 110 of the electronic device 101 may recognize an image object, a text object, a data object, or a combination thereof.
  • the data object may be an object representing information (eg, URL, discount code) extractable from an image object, a text object, or a combination thereof.
  • FIG. 5A shows a puppy 505 sitting on the floor.
  • a user may photograph a puppy sitting on the floor using his electronic device 511.
  • an image including a puppy object 515 photographed using the user's electronic device 511 may be displayed on the display device of the electronic device 511.
  • the electronic device 511 may identify the background image 513 and the puppy object 515 by recognizing the region 514 including the puppy object 515 in the image.
  • the processor 110 of the electronic device 101 may determine whether to use the recognized object. In various embodiments, the processor 110 of the electronic device 101 may determine whether to use the recognized object based on the user input. In various embodiments, the user input may be an input corresponding to a signal for selecting at least one object among one or more objects recognized in the content.
  • the processor 110 of the electronic device 101 may perform the operation 430.
  • the processor 110 of the electronic device 101 may perform operation 450 when it is determined (No) that the recognized object is not used.
  • a situation as in FIG. 5C or a situation as in FIG. 5D based on user input Can be changed to In a situation such as (B) of FIG. 5, if it is determined to use the puppy object 515 recognized by the electronic device 511, a situation as in FIG. 5C may occur. In a situation such as (B) of FIG. 5, when it is determined that the puppy object 515 recognized by the electronic device 511 is not to be used, a situation such as (D) of FIG. 5 may occur.
  • the processor 110 of the electronic device 101 may determine the recognized object as an object to be transmitted.
  • the processor 110 of the electronic device 101 may determine the recognized object determined to be used based on the user input as an object to be transmitted to the external electronic device (eg, the electronic device 102).
  • the processor 110 of the electronic device 101 may generate information about an object to be transmitted to an external electronic device (eg, the electronic device 102 ).
  • the information on the object to be transmitted may include data for displaying the object on the display device 140, the type, size of the object, or a combination thereof.
  • the electronic device 521 may generate information about the puppy object 525.
  • information on the background object 523 may be omitted from the information on the puppy object 525.
  • the electronic device 521 may display only the puppy object 525 on the display device 140 by generating information about the puppy object 525.
  • the camera circuit 130 stops acquiring an image of the space 522, and the acquisition display device 140 is a puppy The object 525 can be displayed.
  • the processor 110 of the electronic device 101 may request the associated object from the server 103.
  • the processor 110 of the electronic device 101 transmits the content being displayed by the display device 140 to the server 103, thereby associating an object of an object included in the content being displayed by the display device 140 Can request the server 103.
  • the processor 110 of the electronic device 101 transmits an object recognized in the content being displayed by the display device 140 to the server 103, thereby being included in the content being displayed by the display device 140.
  • the associated object of the object may be requested from the server 103.
  • the associated object may be objects similar to objects recognized by the server 103 in the content.
  • the server 103 when the server 103 recognizes the object representing the puppy in the content, the object representing the puppy of the same or similar breed represented by the object, the same or similar pose of the puppy represented by the object An object representing a puppy, or a combination thereof, may be evaluated as an associated object.
  • the processor 110 of the electronic device 101 may receive information about a plurality of related objects from the server 103.
  • the information on the associated object may include data for displaying the associated object on the display device 140, a thumbnail image of the associated object, a type, size, or a combination thereof.
  • the processor 110 of the electronic device 101 may select an object to be transmitted from among a plurality of related objects.
  • the processor 110 of the electronic device 101 may select an object to be transmitted from among a plurality of related objects based on a user input.
  • the processor 110 of the electronic device 101 displays a thumbnail image of each of the plurality of associated objects in a predetermined area of the display device 140, and associates at least one of the plurality of associated objects Based on a user input for selecting a thumbnail image for an object, an object to be transmitted may be selected from among a plurality of related objects.
  • operation 440 may be performed.
  • the processor 110 of the electronic device 101 may generate information about the selected related object.
  • the electronic device 531 displays the background 533 of the image, the puppy object 535, the area 534 including the puppy object 535, or a combination thereof, the server 103 By transmitting to, a thumbnail image representing each of a plurality of related objects for the puppy object 535 received from the server 103 may be displayed at the bottom of the display device 140.
  • a user of the electronic device 532 may select one thumbnail image among a plurality of thumbnail images using his/her finger as an input means.
  • the electronic device 541 may display the puppy object 545 corresponding to the selected thumbnail image through the display device 140.
  • the background 543 of the puppy object 545 may be absent.
  • FIG. 6 illustrates an operation of the electronic device 101 according to various embodiments. Operations of the electronic device 101 illustrated in FIG. 6 may be included in operation 230 of the electronic device 101 illustrated in FIG. 2. FIG. 6 is described with reference to components of the electronic device 101 shown in FIG. 1.
  • FIG. 7 illustrates an example of an operation in which the electronic devices 711, 721, and 731 connect to other electronic devices according to various embodiments.
  • the electronic devices 711, 721, and 731 illustrated in FIG. 7 may be included in the electronic device 101 illustrated in FIG. 1.
  • the processor 110 of the electronic device 101 responds to the electronic device connection request and information about a plurality of connectable electronic devices (for example, the electronic device 102) (eg : Connection name).
  • the processor 110 of the electronic device 101 displays a selected object on the display device 140 in a situation where the selected object is displayed on the display device 140 after information on the selected object is generated.
  • a user input for the electronic device connection icon is detected, it may be identified that the electronic device connection request is input.
  • the electronic device 711 displays a puppy object 712 and an electronic device connection icon 713 through the display device 140.
  • a user input for example, a touch input
  • the electronic device 721 may connect to an electronic device (eg, FIG. 7B).
  • the layout 724 including the information about the electronic device 102 (eg, the connection name) 725 may be displayed on the layer representing the puppy object 712 and the electronic device connection icon 723.
  • the processor 110 of the electronic device 101 may connect to a selected electronic device among a plurality of connectable electronic devices.
  • the processor 110 of the electronic device 101 may connect to an electronic device (eg, the electronic device 102) selected by a user input using the communication circuit 120.
  • the communication circuit 120 of the electronic device 101 may connect to another electronic device (eg, the electronic device 102) through a short-range communication network (eg, Bluetooth, WiFi direct or IrDA).
  • the electronic device connection icon may be changed to a camera icon.
  • the processor 110 of the electronic device 101 may activate the camera circuit 130. In various embodiments, if the processor 110 of the electronic device 101 activates the camera circuit 130, the extracted object may be superimposed on the image acquired through the camera circuit 130.
  • the electronic device 721 displays the electronic device (eg, the user input 726) : Electronic device 102 ).
  • the electronic device connection icon 723 is turned into a camera icon 733 Can be changed.
  • FIG. 8 illustrates an operation of the electronic device 101 according to various embodiments. Operations of the electronic device 101 illustrated in FIG. 8 may be included in operations 250 to 290 of the electronic device 101 illustrated in FIG. 2. 8 is described with reference to components of the electronic device 101 shown in FIG. 1.
  • FIG 9 illustrates an example of an operation in which the electronic device 924 includes the extracted object in the content of other electronic devices 911, 921, and 931 according to various embodiments.
  • the processor 110 of the electronic device 101 is displayed by another electronic device (eg, the electronic device 102) from another electronic device (eg, the electronic device 102 ).
  • Information about other content in progress can be obtained.
  • other content being displayed by another electronic device eg, the electronic device 102
  • information about other content may include whether an identifier (eg, binary code) is superimposed on other content, a value indicated by an identifier superimposed on other content, information about a location on other content where the identifier is superimposed, or their Combinations.
  • an identifier eg, binary code
  • the processor 110 of the electronic device 101 may superimpose and display an object to be transmitted on an image acquired through the camera circuit 130.
  • the processor 110 activates the camera circuit 130 in response to a user input (eg, a touch input), and then superimposes an object to be transmitted on the acquired image and displays it on the display device 140.
  • the processor 110 may overlap the extracted object at a set location of an image acquired by the camera circuit 130.
  • the image being acquired through the camera circuit 130 may include at least a portion of other content being displayed by other electronic devices (eg, the electronic device 102) acquired through the camera circuit 130. have.
  • the user may use the electronic device 925.
  • the camera circuit 130 of the electronic device 925 can acquire an image including at least a portion of the display device 922.
  • the electronic device 925 is an image object representing a puppy in an image including at least a portion of the display device 922 acquired by the camera circuit 130 of the electronic device 925 ( 924) may be overlapped and expressed through the display device 140.
  • the processor 110 of the electronic device 101 is displaying an electronic device (eg, the electronic device 102) different from the image being acquired through the camera circuit 130
  • Location information may be generated based on information about other content.
  • the processor 110 of the electronic device 101 may transmit object information and location information to include the extracted object at a determined location of other content.
  • the processor 110 of the electronic device 101 may transmit object information and location information to another electronic device (eg, the electronic device 102) or the server 103.
  • the server 103 transmits object information and location information to another electronic device (eg, the electronic device 102), so that other electronic devices (eg: Electronic device 102).
  • object information and location information obtained from the electronic device 925 in an image 933 that includes an image object representing a young child by the other electronic device 931 is displayed on the display device 932. Based on this, an image object 934 representing a puppy may be included.
  • the display device 932 of the other electronic device 931 may display an image object representing a young child and an image 933 including the image object 934.
  • FIG. 10 illustrates an operation of the electronic device 101 according to various embodiments. Operations of the electronic device 101 illustrated in FIG. 10 may be included in operations 270 of the electronic device 101 illustrated in FIG. 2, or operations 820 and 830 of the electronic device 101 illustrated in FIG. 8. Can. 10 is described with reference to components of the electronic device 101 shown in FIG. 1.
  • FIG. 11 illustrates an example of an operation in which an electronic device determines a location according to various embodiments.
  • the processor 110 of the electronic device 101 may determine whether other content being displayed by another electronic device (eg, the electronic device 102) is set content.
  • the processor 110 of the electronic device 101 is based on information about other content received from the other electronic device (eg, the electronic device 102), and other electronic devices (eg, the electronic device 102) )) can be checked whether other content being displayed is set content.
  • the set content may be content of a single color (eg, white), content having an overlapping pattern (eg, overlapping hatching pattern), or a combination thereof.
  • operation 1010 when the processor 110 of the electronic device 101 determines that other content being displayed by another electronic device (eg, the electronic device 102) is set content (YES) , Operation 1020.
  • the processor 110 of the electronic device 101 determines that other content being displayed by another electronic device (eg, the electronic device 102) is not set content (No) ), the process according to FIG. 10 can be terminated.
  • the camera circuit 130 of the electronic device 101 may acquire another image including a set region of another electronic device (eg, the electronic device 102 ).
  • the processor 110 of the electronic device 101 may control the camera circuit 130 such that the camera circuit 130 acquires another image including a set region of another electronic device.
  • the processor 110 of the electronic device 101 displays a guide phrase (eg, “Please go back so that the entire screen can be recognized”) set on the display device 140, thereby providing the user with a camera circuit ( 130 may request to control the electronic device 101 to obtain another image that includes a set area of another electronic device (eg, the electronic device 102).
  • a set area of another electronic device eg, the electronic device 102
  • the processor 110 of the electronic device 101 may display an identifier on the image being acquired through the camera circuit 130 based on the obtained other image.
  • the identifier may be a virtual identification line (or figure, code) expressed on the image in the display device 140 of the electronic device 101.
  • the identifier may be a virtual identification line (or figure) represented in an area representing a display device of another electronic device (eg, the electronic device 102) in an image acquired through the camera circuit 130. have.
  • the electronic device 1151 when an image 1121 including the entire display device of another electronic device 1111 is acquired through the camera circuit 130, the electronic device 1151 has an image 1121 Virtual identification lines 1131 to 1137 and 1141 to 1144 may be set in an area representing the display device of the image 1121 based on the characteristics of the display device (eg, the outer area of the other electronic device 1111 ). .
  • the image acquired through the camera circuit 130 in the electronic device 1151 represents a partial area of the displayable image 1121
  • identification lines 1131 to 1137 set in a partial area of the image 1121 And 1141 to 1144) may be displayed on the display device 140.
  • the processor 110 of the electronic device 101 may generate location information based on the identifier.
  • the processor 110 of the electronic device 101 identifies identification lines set in some of the set identification lines Then, based on the identified positions of the identification lines, position information may be generated.
  • a partial region of the image 1121 including the entire display device of another electronic device 1111 is acquired through the camera circuit 130, and the electronic device 1151 is acquired. Some areas can be displayed.
  • the electronic device 1151 may identify identification lines 1164 to 1166 and 1171 to 1174 being displayed on the display device 140 for some areas.
  • the electronic device 1151 is identified based on the identified identification lines 1164 to 1166, 1171 to 1174 corresponding to the identification lines 1134 to 1136, 1141 to 1144 of the image 1121 The positions of the identification lines 1164 to 1166 and 1171 to 1174 can be confirmed.
  • the electronic device 1151 may generate location information of the image object 1152 representing the puppy based on the identified locations of the identification lines 1164 to 1166 and 1171 to 1174.
  • FIG. 12 illustrates an operation of the electronic device 101 according to various embodiments. Operations of the electronic device 101 illustrated in FIG. 12 may be included in operations 270 of the electronic device 101 illustrated in FIG. 2, or operations 820 and 830 of the electronic device 101 illustrated in FIG. 8. Can. 12 is described with reference to components of the electronic device 101 shown in FIG. 1.
  • FIG. 13 illustrates an example of an operation in which an electronic device determines a location according to various embodiments.
  • the processor 110 of the electronic device 101 may determine whether other content displayed by another electronic device (eg, the electronic device 102) includes an identifier. In various embodiments, the processor 110 of the electronic device 101 may determine whether other content includes an identifier based on information about other content obtained from another electronic device (eg, the electronic device 102 ). . In various embodiments, the identifier may be an object that is overlapped with other content being displayed after another electronic device (eg, the electronic device 102) is connected to the electronic device 102. In various embodiments, the identifier may be an object that is overlapped with other content being displayed after another electronic device (eg, the electronic device 102) is connected to the electronic device 102. In various embodiments, the identifier may be a code such as a binary code (eg, a quick response (QR) code).
  • QR quick response
  • the processor 110 of the electronic device 101 determines that other content being displayed by another electronic device (eg, the electronic device 102) includes an identifier (eg ), operation 1220.
  • the processor 110 of the electronic device 101 determines that other content displayed by another electronic device (eg, the electronic device 102) does not include an identifier ( No)
  • the process according to FIG. 12 can be ended.
  • another electronic device 1311 may further display identifiers 1312 to 1315 on a screen being displayed.
  • the processor 110 of the electronic device 101 may identify an identifier adjacent to an overlapped object in an image acquired through the camera circuit 130.
  • the processor 110 of the electronic device 101 may identify an identifier adjacent to an overlapping object among a plurality of identifiers that can be identified in an image acquired through the camera circuit 130.
  • the identifier adjacent to the overlapped object may be an identifier having the coordinate closest to the center position of the overlapped object.
  • the processor 110 of the electronic device 101 may generate location information based on the identified identifier. In various embodiments, the processor 110 of the electronic device 101 may generate location information based on the location where the identified adjacent identifier is superimposed on other content.
  • the electronic device 1321 may acquire an image including the camera circuit 130 and the identifier 1325. In various embodiments, the electronic device 1321 may check the identifier 1325 included in the image obtained through the camera circuit 130 based on information about other content obtained from the other electronic device 1311. . In various embodiments, the electronic device 1321 may generate location information of the image object 1322 representing the puppy based on the identifier 1325 included in the image corresponding to the identifier 1315.
  • FIG. 14 illustrates an operation of the electronic device 101 according to various embodiments. Operations of the electronic device 101 illustrated in FIG. 14 may be included in operation 290 of the electronic device 101 illustrated in FIG. 2, or operation 840 of the electronic device 101 illustrated in FIG. 8. 14 is described with reference to components of the electronic device 101 shown in FIG. 1.
  • the processor 110 of the electronic device 101 may transmit location information to another electronic device (eg, the electronic device 102 ).
  • the processor 110 of the electronic device 101 may request the server 103 to transmit location information to another electronic device (eg, the electronic device 102).
  • the location information may be information calculated by the server 103.
  • the processor 110 of the electronic device 101 is a type of object included in content of a location corresponding to location information from another electronic device (eg, the electronic device 102)
  • Information indicating the can be received.
  • the type of object may indicate an object input type.
  • the information indicating the type of the object may indicate information that at least one object of an image object, a text object, or a data object may be included.
  • an image displayed by the external electronic device 1511 may include three objects 1521, 1531, and 1541.
  • the external electronic device 1511 displays information indicating the type of an object (for example, the first object 1521) corresponding to the received location information among the objects 1521, 1531, and 1541. ).
  • information indicating the type of the object (eg, the first object 1521) corresponding to the received location information may indicate that an image object may be included.
  • information indicating the type of the object (eg, the second object 1531) corresponding to the received location information may indicate that a text object may be included.
  • information indicating the type of the object (eg, the third object 1541) corresponding to the received location information may indicate that a data object may be included.
  • the processor 110 of the electronic device 101 may extract object information corresponding to a received type from among information on an object to be transmitted.
  • the processor 110 of the electronic device 101 is data for displaying the object among the information on the object in the display device 140 Can be extracted.
  • the processor 110 of the electronic device 101 may extract text among the information on the object.
  • the processor 110 of the electronic device 101 may include data (eg, URL, discount) of the data object among the information on the object. Code).
  • the processor 110 of the electronic device 101 may extract information corresponding to input field information of an object corresponding to the received location information.
  • the processor 110 of the electronic device 101 may transmit the extracted object information to another electronic device (eg, the electronic device 102).
  • the processor 110 of the electronic device 101 may request the server 103 to transmit object information to another electronic device (eg, the electronic device 102).
  • FIG. 16 illustrates an example of an operation in which electronic devices 1611, 1621, and 1631 edit objects 1613, 1623, and 1633 according to various embodiments.
  • the electronic device 1611 may display an image object 1613 representing a bird through the display device 140.
  • the electronic device 1611 may edit the image object 1613 representing a bird based on the user's input.
  • the user's input may be a signal input through the input device 150, a signal detected through the sensor circuit 170 (eg, a signal for detecting movement or shaking of the electronic device 101), or their It can be a combination.
  • the electronic device 1621 when it is sensed that the electronic device 1621 shakes left and right through the sensor circuit 170, the electronic device 1621 rotates the image object 1613 representing the bird according to the shaking direction, thereby generating an image object ( 1613).
  • the electronic device 1621 may display the image object 1623 rotated according to the shaking direction through the display device 140.
  • the electronic device 1621 when it is sensed that the electronic device 1621 is shaken based on a reference axis through the sensor circuit 170, the electronic device 1621 inverts the image object 1613 representing the bird according to the shaking direction, The image object 1613 can be edited.
  • the electronic device 1631 when the electronic device 1631 detects shaking along the vertical axis, the electronic device 1631 displays the inverted (eg, inverted left and right) image object 1633 based on the vertical axis. Can be displayed through
  • the electronic device 1631 when it is sensed that the shaking is along the horizontal axis, the electronic device 1631 may display an image object inverted (eg, upside down) based on the horizontal axis through the display device 140.
  • FIG 17 illustrates an example of an operation in which electronic devices 1711 and 1721 edit objects 1712 and 1722 according to various embodiments.
  • the electronic device 1711 may display a first image object 1712 representing a puppy through the display device 140.
  • the electronic device 1711 may enlarge the first image object 1712 representing the puppy based on the user input.
  • the user input may be an input corresponding to a signal that increases the distance between the two points 1713 and 1714 while the touch input to the two points 1713 and 1714 is maintained.
  • the electronic device 1711 may change the size of the first image object 1712 based on the distance between the electronic device 1711 and a display device of another electronic device (eg, the electronic device 102). have.
  • the electronic device 1711 when a distance between the electronic device 1711 and a display device of another electronic device (for example, the electronic device 102) is getting closer, the electronic device 1711 is proportional to the first image object 1712 The size of can be reduced.
  • the electronic device 1721 may display a second image object 1722 representing a puppy through the display device 140.
  • the electronic device 1711 may reduce the second image object 1722 representing a puppy based on a user input.
  • the user input may be an input corresponding to a signal that a distance between the two points 1723 and 1724 approaches while the touch input to the two points 1723 and 1724 is maintained.
  • the electronic device 1721 may change the size of the second image object 1722 based on the distance between the electronic device 1721 and a display device of another electronic device (eg, the electronic device 102). have.
  • the electronic device 1721 proportionally adjusts the second image object 1722 You can enlarge the size.
  • the external electronic device 1173 is a first image object representing a puppy whose size is enlarged based on editing of the first image object 1712 representing the puppy in the electronic device 1711 Based on the edits to the 1733 and the second image object 1722 representing the puppy in the electronic device 1721, the second image object 1735 representing the reduced-sized puppy is to be superimposed on the screen 1732 being displayed. Can.
  • the electronic device 101 may provide functions for displaying content in a desired location on an external electronic device (eg, the electronic device 102) in which the electronic device 101 is linked. have.
  • the electronic device 101 desires other content being displayed on an external electronic device (eg, the electronic device 102) associated with an object selected from the content being displayed by the electronic device 101. It can provide functions for marking on a location.
  • the electronic device 101 identifies an object from content displayed on the display in response to a camera circuit, a communication circuit, a display, a memory storing instructions, and a user input, and the The object superimposed on the image being acquired through the camera is displayed on the display, and the image includes at least a part of other content displayed by another electronic device, and while displaying the object, the communication circuit is displayed.
  • a processor configured to transmit information about the object and information about the location such that the object is included in the location in the other content.
  • the processor 110 of the electronic device 101 compares the image obtained through the camera with information about the other content, and the size of the extracted object to be included in the other content , And transmit information on the extracted object including information on the determined size of the extracted object to the other electronic device.
  • the electronic device 101 further includes a sensor circuit 170, and the processor 110 is included in the other content based on the movement of the electronic device obtained through the sensor circuit.
  • the shape of the extracted object may be determined, and information on the extracted object including information on the determined shape of the extracted object may be transmitted to the other electronic device.
  • the processor 110 of the electronic device 101 determines a size of the extracted object to be included in the other content, based on a user input for the image being displayed through the display, In addition, information on the extracted object including information on the determined size of the extracted object may be transmitted to the other electronic device.
  • the processor 110 of the electronic device 101 acquires another image representing at least a portion of the display of the other electronic device through the camera, and based on the other image, the processor 110 A virtual identifier may be set in an image acquired through the location of the object to be included in the other content based on the virtual identifier.
  • the information on the other content includes information on a marker capable of confirming coordinates of the other content being displayed by the other electronic device
  • the processor 110 of the electronic device 101 includes: Through the camera, it is possible to determine a location of the object to be included in the other content by identifying a marker at a location where the extracted object is superimposed on the acquired image, and checking information about the identified marker.
  • the processor 110 of the electronic device 101 corresponds to a location where the extracted object is superimposed on the acquired image through the camera circuit, based on information about the other content. Check the information of the other content to be, based on the information of the identified other content, extract at least some information from the information about the extracted object, and extract the at least some of the information to the other electronic device Can transmit.
  • the information of the identified other content may indicate a text field
  • the extracted at least some information may be information representing text among information on the extracted object.
  • the identified other content information indicates a data field
  • the extracted at least some information may be information indicating data among the extracted objects.
  • the processor 110 of the electronic device 101 may determine, on a server, the location of the object to be included in the other content, based on the acquired image and information about the other content. , Transmitting the acquired image to the server, the server receiving information on the other content from the other electronic device, and based on the acquired image and information on the other content, the other content.
  • the location of the object to be included may be determined, and the server may be requested to transmit the determined location to the other electronic device.
  • an operation method of the electronic device 101 is to identify an object from content displayed on the electronic device in response to a user input and to obtain an image acquired by the electronic device. Displaying the overlapped object, and the image includes at least a portion of other content displayed by another electronic device, and while displaying the object, the other electronic device is displaying the other In response to receiving information about the content, determining the location of the object to be included in the other content, based on the acquired image and information about the other content, and in response to receiving the designated input, And transmitting information on the object and information on the location so that the object is included in the location in the other content.
  • an operation of determining the size of the extracted object to be included in the other content may be further included by comparing information about the other content with the image acquired by the electronic device.
  • Information about the extracted object may include information about the determined size of the extracted object.
  • the method further includes determining a shape of the extracted object to be included in the other content, based on the movement of the electronic device, and information about the extracted object includes the determined shape of the extracted object. It may contain information about.
  • the method further includes determining a size of the extracted object to be included in the other content, based on a user input to the image displayed on the electronic device, and information about the extracted object is It may include information on the determined size of the extracted object.
  • obtaining another image representing at least a portion of the display of the other electronic device and setting a virtual identifier on an image acquired by the electronic device based on the other image, and Based on the virtual identifier, an operation of determining the location of the object to be included in the other content may be further included.
  • the information on the other content includes information on a marker capable of confirming the coordinates of the other content being displayed by the other electronic device, and the object is superimposed on the image acquired by the electronic device.
  • the method may further include an operation of identifying the marker at the identified location, and determining the location of the object to be included in the other content by checking information on the identified marker.
  • an operation of checking information of the other content corresponding to a position where the extracted object is superimposed on the acquired image through the camera circuit may further include extracting at least some information from the information on the extracted object and transmitting the extracted at least some information to the other electronic device based on the information of the other content.
  • the information of the identified other content may indicate a text field
  • the extracted at least some information may be information representing text among information on the extracted object.
  • the identified other content information indicates a data field
  • the extracted at least some information may be information indicating data among the extracted objects.
  • an operation of transmitting the acquired image to the server, so that the location of the object to be included in the content is determined by a server, and the server receives information about the other content from the other electronic device and , Determining the position of the object to be included in the other content, and requesting the server to transmit the determined position to the other electronic device based on the acquired image and information about the other content It can contain.
  • the electronic device may be various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • any (eg first) component is referred to as a “coupled” or “connected” to another (eg second) component, with or without the term “functionally” or “communically”
  • any of the above components can be connected directly to the other components (eg, by wire), wirelessly, or through a third component.
  • module may include units implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof performing one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present disclosure may include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (e.g., program 140) that includes.
  • a processor eg, processor 110
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the storage medium readable by the device may be provided in the form of a non-transitory storage medium.
  • a signal eg, electromagnetic waves
  • a method according to various embodiments disclosed in this document may be provided as being included in a computer program product.
  • Computer program products are commodities that can be traded between sellers and buyers.
  • the computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or two user devices ( It can be distributed (eg, downloaded or uploaded) directly or online between smartphones).
  • a portion of the computer program product may be stored at least temporarily on a storage medium readable by a device such as a memory of a manufacturer's server, an application store's server, or a relay server, or may be temporarily generated.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or omitted Or, one or more other actions can be added.
  • a computer readable storage medium storing one or more programs (software modules) may be provided.
  • One or more programs stored in a computer-readable storage medium are configured to be executable by one or more processors in an electronic device.
  • One or more programs include instructions that cause an electronic device to execute methods according to embodiments described in the claims or specification of this disclosure.
  • Such programs include random access memory, non-volatile memory including flash memory, read only memory (ROM), and electrically erasable programmable ROM.
  • EEPROM electronic erasable programmable read only memory
  • magnetic disc storage device compact disc-ROM (CD-ROM), digital versatile discs (DVDs) or other forms
  • CD-ROM compact disc-ROM
  • DVDs digital versatile discs
  • It can be stored in an optical storage device, a magnetic cassette. Or, it may be stored in a memory composed of a combination of some or all of them. Also, a plurality of configuration memories may be included.
  • the program may be through a communication network composed of a communication network such as the Internet, an intranet, a local area network (LAN), a wide LAN (WLAN), or a storage area network (SAN), or a combination thereof. It can be stored in an attachable storage device that can be accessed. Such a storage device can access a device performing an embodiment of the present disclosure through an external port. In addition, a separate storage device on the communication network may access a device performing an embodiment of the present disclosure.
  • a communication network such as the Internet, an intranet, a local area network (LAN), a wide LAN (WLAN), or a storage area network (SAN), or a combination thereof. It can be stored in an attachable storage device that can be accessed. Such a storage device can access a device performing an embodiment of the present disclosure through an external port.
  • a separate storage device on the communication network may access a device performing an embodiment of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예들에 따른 전자 장치(electronic device)는 카메라 회로, 통신 회로, 디스플레이, 명령어들을 저장하는 메모리 및 사용자 입력에 응답하여, 상기 디스플레이에 표시되고 있는 콘텐트로부터 객체를 식별하고, 상기 카메라를 통해 획득되고 있는 이미지 위에 중첩된 상기 객체를 상기 디스플레이를 통해 표시하고, 상기 이미지는 다른 전자 장치가 표시하고 있는 다른 콘텐트의 적어도 일부를 포함하며, 상기 객체를 표시하는 동안, 상기 통신 회로를 통해 다른 전자 장치로부터 상기 다른 전자 장치가 표시하고 있는 상기 다른 콘텐트에 대한 정보를 수신하고, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하고, 지정된 입력을 수신하는 것에 응답하여, 상기 객체가 상기 다른 콘텐트 내의 상기 위치에 포함되도록, 상기 객체에 대한 정보 및 상기 위치에 대한 정보를 송신하도록 구성된 프로세서를 포함할 수 있다.

Description

외부 장치의 콘텐트를 편집하는 전자 장치 및 방법
후술되는 다양한 실시예들은 외부 장치의 콘텐트를 편집하는 전자 장치 및 그의 동작 방법에 관한 것이다.
전자 장치는 유선 및 무선 인터페이스를 이용하여 외부 전자 장치와 데이터를 송수신할 수 있다. 이러한 전자 장치는, 외부 전자 장치에서 콘텐트를 표시하기 위해 외부 전자 장치와 연동할 수 있다.
전자 장치(electronic device)는 외부 전자 장치에서 콘텐트를 표시하기 위해 외부 전자 장치와 연동할 수 있다. 이러한 전자 장치의 사용자에게는, 연동된 외부 전자 장치에서 콘텐트를 원하는 위치에 표시하기 위해 연동된 외부 전자 장치의 제어가 요구될 수 있다. 따라서, 전자 장치가 연동된 외부 전자 장치에서 콘텐트를 원하는 위치에 표시하기 위한 기능들을 제공하여, 사용자의 편의를 도모하기 위한 방안이 요구될 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따른 전자 장치(electronic device)는 카메라 회로, 통신 회로, 디스플레이, 명령어들을 저장하는 메모리 및 사용자 입력에 응답하여, 상기 디스플레이에 표시되고 있는 콘텐트로부터 객체를 식별하고, 상기 카메라를 통해 획득되고 있는 이미지 위에 중첩된 상기 객체를 상기 디스플레이를 통해 표시하고, 상기 이미지는 다른 전자 장치가 표시하고 있는 다른 콘텐트의 적어도 일부를 포함하며, 상기 객체를 표시하는 동안, 상기 통신 회로를 통해 다른 전자 장치로부터 상기 다른 전자 장치가 표시하고 있는 상기 다른 콘텐트에 대한 정보를 수신하고, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하고, 지정된 입력을 수신하는 것에 응답하여, 상기 객체가 상기 다른 콘텐트 내의 상기 위치에 포함되도록, 상기 객체에 대한 정보 및 상기 위치에 대한 정보를 송신하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시예들에 따른 전자 장치(electronic device)의 동작 방법은 사용자 입력에 응답하여, 상기 전자 장치에서 표시되고 있는 콘텐트로부터 객체를 식별하는 동작과, 상기 전자 장치가 획득하고 있는 이미지 위에 중첩된 상기 객체를 표시하는 동작과, 상기 이미지는 다른 전자 장치가 표시하고 있는 다른 콘텐트의 적어도 일부를 포함하고, 상기 객체를 표시하는 동안, 다른 전자 장치로부터 상기 다른 전자 장치가 표시하고 있는 상기 다른 콘텐트에 대한 정보를 수신하는 동작과, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하는 동작과, 지정된 입력을 수신하는 것에 응답하여, 상기 객체가 상기 다른 콘텐트 내의 상기 위치에 포함되도록, 상기 객체에 대한 정보 및 상기 위치에 대한 정보를 송신하는 동작을 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 방법은 전자 장치가 연동된 외부 전자 장치에서 콘텐트를 원하는 위치에 표시하기 위한 기능들을 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는, 다양한 실시예들에 따른 전자 장치의 동작을 도시한다.
도 3은, 다양한 실시예들에 따른 전자 장치에서 표시 중인 이미지에 포함된 객체의 다양한 예들을 도시한다.
도 4는, 다양한 실시예들에 따른 전자 장치의 동작을 도시한다.
도 5는, 다양한 실시예들에 따른 전자 장치가 객체를 추출하는 동작의 다양한 예들을 도시한다.
도 6은, 다양한 실시예들에 따른 전자 장치의 동작을 도시한다.
도 7은, 다양한 실시예들에 따른 전자 장치가 다른 전자 장치와 연결하는 동작의 예를 도시한다.
도 8은, 다양한 실시예들에 따른 전자 장치의 동작을 도시한다.
도 9는, 다양한 실시예들에 따른 전자 장치가 추출된 객체를 다른 전자 장치의 콘텐트에 포함시키는 동작의 예를 도시한다.
도 10은, 다양한 실시예들에 따른 전자 장치의 동작을 도시한다.
도 11은, 다양한 실시예들에 따른 전자 장치가 위치를 결정하는 동작의 예를 도시한다.
도 12는, 다양한 실시예들에 따른 전자 장치의 동작을 도시한다.
도 13은, 다양한 실시예들에 따른 전자 장치가 위치를 결정하는 동작의 예를 도시한다.
도 14는, 다양한 실시예들에 따른 전자 장치의 동작을 도시한다.
도 15는, 다른 전자 장치에서 디스플레이 중인 화면의 예를 도시한다.
도 16은, 다양한 실시예들에 따른 전자 장치가 객체를 편집하는 동작의 예를 도시한다.
도 17은, 다양한 실시예들에 따른 전자 장치가 객체를 편집하는 동작의 예를 도시한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다.
도 1을 참조하면, 다양한 실시 예들에서, 전자 장치(101)는 제1 네트워크(104)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(105)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(102) 또는 서버(103)와 통신할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 프로세서(110), 통신 회로(120), 카메라 회로(130), 표시 장치(140), 입력 장치(150), 메모리(160), 또는 그들의 조합을 포함할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 이 구성 요소들 외에도 하나 이상의 다른 구성 요소(예 : 센서 회로)가 추가될 수 있다. 다양한 실시 예들에서, 이 구성 요소들의 일부 구성 요소들은 하나의 통합된 회로로 구현될 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 소프트웨어(예: 프로그램)를 실행하여 프로세서(110)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 사용자 입력(예: 터치 입력)에 응답하여, 표시 장치(140)에서 표시 중인 콘텐트에 포함된 객체를 추출할 수 있다. 다양한 실시 예들에서, 콘텐트는 이미지, 전자 문서, 동영상, 또는 그들의 조합을 포함할 수 있다. 다양한 실시 예들에서, 객체는 이미지 객체, 텍스트 객체, 데이터 객체, 또는 그들의 조합을 포함할 수 있다. 다양한 실시 예들에서, 이미지 객체는 콘텐트에 포함된 식별 가능한 형상(예: 강아지 형상, 사람 형상)일 수 있다. 다양한 실시 예들에서, 텍스트 객체는 콘텐트에 포함된 식별 가능한 텍스트일 수 있다. 다양한 실시 예들에서, 데이터 객체는 콘텐트의 메타데이터에 포함된 정보(예: 웹페이지를 나타내는 스크린샷 이미지의 메타데이터에 포함된 웹페이지 주소), 콘텐트의 이미지 객체, 텍스트 객체, 또는 그들의 조합이 나타내는 정보, 또는 그들의 조합을 포함할 수 있다. 다양한 실시 예들에서, 콘텐트의 이미지 객체가 할인 쿠폰을 나타내는 경우, 이미지 객체에 대한 데이터 객체는 할인 쿠폰에 포함되어 있는 인식 가능한 할인 코드, 할인 기간, 할인 상품, 또는 그들의 조합을 포함할 수 있다. 다양한 실시 예들에서, 콘텐트의 텍스트 객체가 URL(uniform resource locator)을 나타내는 경우, 텍스트 객체에 대한 데이터 객체는 URL에 접속하기 위한 명령어들을 포함할 수 있다.
다양한 실시 예들에서, 프로세서(110)는 사용자 입력(예: 터치 입력)에 응답하여, 카메라 회로(130)를 활성화하여, 이미지를 획득할 수 있다. 다양한 실시 예들에서, 프로세서(110)는 카메라 회로(130)가 획득하고 있는 이미지를 표시 장치(140)를 통해 표시할 수 있다. 다양한 실시 예들에서, 프로세서(110)는 카메라 회로(130)가 획득하고 있는 이미지에 추출된 객체를 중첩하고, 추출된 객체가 중첩된 이미지를 표시 장치(140)를 통해 표시할 수 있다. 다양한 실시 예들에서, 프로세서(110)는 카메라 회로(130)가 획득하고 있는 이미지의 설정된 위치(예: 카메라 회로(130)의 이미지 센서의 설정된 위치에 상응하는 이미지 상의 위치)에 추출된 객체를 중첩할 수 있다. 다양한 실시 예들에서, 이미지의 설정된 위치는 중심 위치(예: 카메라 회로(130)의 이미지 센서의 중심 위치에 상응하는 이미지 상의 위치)일 수 있다.
다양한 실시 예들에서, 프로세서(110)는 사용자 입력(예: 터치 입력)에 응답하여, 카메라 회로(130)가 획득하고 있는 이미지에 중첩되어 표시 장치(140)를 통해 표시되는 객체를 편집할 수 있다. 다양한 실시 예들에서, 센서 회로(170)를 통해 전자 장치(101)를 기울이는 것을 감지한 신호에 응답하여, 프로세서(110)는 객체를 회전시키고, 회전된 객체를 카메라 회로(130)가 획득하고 있는 이미지에 중첩하여 표시 장치(140)를 통해 표시할 수 있다. 다양한 실시 예들에서, 센서 회로(170)를 통해 전자 장치(101)를 회전시키는 것을 감지한 신호에 응답하여, 프로세서(110)는 객체를 반전(예: 좌우 반전, 상하 반전)시키고, 반전된 객체를 카메라 회로(130)가 획득하고 있는 이미지에 중첩하여 표시 장치(140)를 통해 표시할 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 사용자 입력(예: 터치 입력)에 응답하여, 표시 장치(140)에서 표시 중인 콘텐트를 서버(103)에 전송하도록 통신 회로(120)를 제어할 수 있다. 다양한 실시 예들에서, 프로세서(110)는, 서버(103)로부터 콘텐트에 포함된 객체, 또는 콘텐트에 포함된 객체에 연관된 객체들에 대한 정보를 수신하도록 통신 회로(120)를 제어할 수 있다. 다양한 실시 예들에서, 콘텐트에 포함된 객체에 연관된 객체는 서버(103)가 콘텐트에서 인식한 객체들과 유사한 개체로 판정한 객체들일 수 있다. 다양한 실시 예들에서, 서버(103)가 콘텐트에서 강아지를 나타내는 객체를 인식한 경우, 서버(103)는 객체가 나타내는 강아지와 동일, 또는 유사한 품종의 강아지를 나타내는 객체, 객체가 나타내는 강아지의 포즈와 동일, 또는 유사한 포즈의 강아지를 나타내는 객체, 또는 그들의 조합은 연관 객체로 판정할 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 사용자 입력(예: 터치 입력)에 응답하여, 전자 장치(102)와 연결을 수행하도록 통신 회로(120)를 제어할 수 있다. 다양한 실시 예들에서, 프로세서(110)는, 제1 네트워크(104), 또는 제2 네트워크(105)를 통해 전자 장치(102)와 연결되도록 통신 회로(120)를 제어할 수 있다. 다양한 실시 예들에서, 전자 장치(101)가 제2 네트워크(105)를 통해 서버(103)와 연결되고, 전자 장치(102)가 제2 네트워크(105)를 통해 서버(103)와 연결된 경우, 전자 장치(101)와 전자 장치(102)가 서버(103)를 통해 서로 연결된 것으로 평가될 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 전자 장치(102)에게 전자 장치(102)가 표시 중인 다른 콘텐트에 대한 정보를 요청하고, 전자 장치(102)로부터 다른 콘텐트에 대한 정보를 수신하도록 통신 회로(120)를 제어할 수 있다. 다양한 실시 예들에서, 다른 콘텐트는 이미지, 텍스트, 동영상, 또는 그들의 조합일 수 있다. 다양한 실시 예들에서, 다른 콘텐트에 대한 정보는 다른 콘텐트를 표시 장치(140)에 표시하기 위한 데이터, 다른 콘텐트에 포함된 데이터 입력 필드들(예: 주소 입력 창, 텍스트 입력 필드, 이미지 입력 필드)의 유형, 다른 전자 장치(102)가 다른 콘텐트를 표시할 때 사용하는 어플리케이션에 대한 정보, 다른 콘텐트에 식별자(예: 이진 코드)가 중첩되었는지 여부, 다른 콘텐트에 중첩된 식별자가 나타내는 값, 식별자가 중첩된 다른 콘텐트 상의 위치에 대한 정보, 또는 그들의 조합을 포함할 수 있다. 다양한 실시 예들에서, 전자 장치(102)는 다른 콘텐트에 대한 정보를 서버(103)에 전송할 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 카메라 회로(130)를 통해 획득되고 있는 이미지에 기초하여, 전자 장치(102)가 표시하고 있는 다른 콘텐트의 위치를 결정할 수 있다. 다양한 실시 예들에서, 프로세서(110)는, 카메라 회로(130)를 통해 획득되고 있는 이미지와 다른 콘텐트에 대한 정보에 기초하여, 전자 장치(102)가 표시하고 있는 다른 콘텐트의 위치를 결정할 수 있다. 다양한 실시 예들에서, 카메라 회로(130)를 통해 획득되고 있는 이미지는 전자 장치(102)가 표시하고 있는 다른 콘텐트의 적어도 일부를 촬영함으로써 획득되는 이미지일 수 있다. 다양한 실시 예들에서, 프로세서(110)는, 카메라 회로(130)를 통해 획득되고 있는 이미지와 전자 장치(102)가 표시하고 있는 다른 콘텐트를 비교함으로써, 다른 콘텐트의 적어도 일부의 위치를 결정할 수 있다. 하지만 이에 제한되는 것은 아니다. 다양한 실시 예들에서, 프로세서(110)는, 카메라 회로(130)를 통해 획득되고 있는 이미지를 서버(103)에 전송하고, 서버(103)에 카메라 회로(130)를 통해 획득되고 있는 이미지가 나타내는 전자 장치(102)가 표시하고 있는 다른 콘텐트의 위치를 결정해줄 것을 요청할 수 있다. 다양한 실시 예들에서, 프로세서(110)는, 서버(103)에 위치 결정을 요청함으로써, 카메라 회로(130)를 통해 획득되고 있는 이미지에 기초하여, 전자 장치(102)가 표시하고 있는 다른 콘텐트의 위치를 결정할 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 카메라 회로(130)를 통해 획득되고 있는 이미지에 가상의 식별선을 설정하고, 설정된 가상의 식별선에 기초하여, 전자 장치(102)가 표시하고 있는 다른 콘텐트의 위치를 결정할 수 있다. 다양한 실시 예들에서, 가상의 식별선은 전자 장치(102)의 표시 장치의 전체 또는 적어도 일부 영역을 나타내는 다른 이미지가 카메라 회로(130)를 통해 획득되면, 전자 장치(101)가 상기 다른 이미지에 기초하여 설정하여 표시 장치(140)에 중첩시키는 식별자일 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 카메라 회로(130)를 통해 획득되고 있는 이미지에서 전자 장치(102)의 표시 장치가 중첩하여 표시하고 있는 식별자를 인식하고, 인식된 식별자에 기초하여, 전자 장치(102)가 표시하고 있는 다른 콘텐트의 위치를 결정할 수 있다. 다양한 실시 예들에서, 식별자는 이진 코드(예: QR(quick response) 코드)일 수 있다. 다양한 실시 예들에서, 식별자는 전자 장치(102)의 표시 장치가 표시 중인 다른 콘텐트의 레이어 위에 표시될 수 있다. 다양한 실시 예들에서, 식별자는 다른 콘텐트와 구분될 수 있다.
다양한 실시 예들에서, 프로세서(110)는, 사용자 입력(예: 터치 입력)에 응답하여, 다른 콘텐트의 결정된 위치에 추출된 객체가 포함되도록 추출된 객체에 대한 정보 및 위치에 대한 정보를 전자 장치(102)에 전송하도록 통신 회로(120)를 제어할 수 있다. 다양한 실시 예들에서, 프로세서(110)는, 객체에 대한 정보, 위치에 대한 정보, 또는 그들의 조합을 서버(103)가 전자 장치(102)에 전송하도록 요청할 수 있다.
상술한 바와 같이 프로세서(110)가 콘텐트에 포함된 객체를 추출하고, 전자 장치(102)의 다른 콘텐트에 포함되도록 요청하는 동작은 아래에서 도 2 내지 17을 참조하여 설명한다.
다양한 실시 예들에서, 통신 회로(120)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 또는 서버(103)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 다양한 실시 예들에서, 통신 회로(120)는 무선 통신 회로(예: 셀룰러 통신 회로, 근거리 무선 통신 회로, 또는 GNSS(global navigation satellite system) 통신 회로) 또는 유선 통신 모듈(예: LAN(local area network) 통신 회로, 또는 전력선 통신 회로)를 포함할 수 있다. 이들 통신 회로 중 해당하는 통신 회로는 제1 네트워크(104)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(105)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치(예: 전자 장치(102), 또는 서버(103))와 통신할 수 있다.
카메라 회로(130)는 정지 영상 및 동영상을 촬영할 수 있다. 다양한 실시 예들에서, 카메라 회로(130)는 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다. 다양한 실시 예들에서, 카메라 회로(130)는 이미지의 뎁스(depth)에 관한 정보를 획득할 수 있다.
표시 장치(140)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(140)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(140)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(110))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 다양한 실시 예들에서, 입력 장치(150)는 마이크, 마우스, 키보드, 터치 스크린, 또는 이들의 조합을 포함할 수 있다.
메모리(160)는, 전자 장치(101)의 적어도 하나의 구성 요소(예: 프로세서(110))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 다양한 실시 예들에서, 메모리(160)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
센서 회로(170)는 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 회로(170)는 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
다양한 실시 예들에서, 전자 장치(102)는 전자 장치(101)와 동일한 구성 요소들을 포함할 수 있다. 다양한 실시 예들에서, 전자 장치(102)는 텔레비전, PC(personal computer), 스마트폰, 냉장고와 같이 표시 장치를 구비하는 장치로 구현될 수 있다.
다양한 실시 예들에서, 서버(103)는 전자 장치(101)로부터의 요청에 상응하는 프로세스를 수행한 후, 그 결과를 전자 장치(101), 전자 장치(102), 또는 그들의 조합에 전달할 수 있다.
도 2는 다양한 실시예들에 따른 전자 장치(101)의 동작을 도시한다. 도 2는 도 1에 도시된 전자 장치(101)의 구성 요소들을 참조하여 설명한다.
도 3은, 다양한 실시예들에 따른 전자 장치들(310, 320, 330, 340, 350, 또는 360)에서 표시 중인 이미지들에 포함된 객체들(311, 321, 331 341, 351, 또는 361)을 도시한다. 도 3에서 도시된 전자 장치들(310, 320, 330, 340, 350, 또는 360)은 도 1에서 도시된 전자 장치(101)에 포함될 수 있다.
도 2를 참조하면, 동작(210)에서, 전자 장치(101)의 프로세서(110)는 콘텐트에 포함된 객체를 추출할 수 있다. 다양한 실시 예들에서, 프로세서(110)는 표시 장치(140)에서 표시 중인 콘텐트에 포함된 객체를 추출할 수 있다. 다양한 실시 예들에서, 프로세서(110)는 콘텐트에서 하나 이상의 객체들을 추출할 수 있다. 다양한 실시 예들에서, 콘텐트에 포함된 객체는 이미지(예: 카메라 회로(130)를 통해 획득된 깊이 정보를 포함하는 이미지, 피엔지(portable network graphic; PNG) 이미지)), 텍스트(예: 문서 파일에 포함되어 있는 텍스트, 이미지에 이미지 형식으로 포함되어 있는 텍스트), 데이터(예: URL(uniform resource locator), 할인 코드)일 수 있다. 동작(210)은 아래에서 도 4 및 도 5를 참조하여 설명한다.
다양한 실시 예들에서, 콘텐트에 포함된 객체는 도 3a의 전자 장치(310)에서 표시 중인 스크린이 나타내는 이미지에 포함된 사람 형상의 이미지 객체(311), 도 3b의 전자 장치(320)에서 표시 중인 스크린이 나타내는 이미지에 포함된 강아지 형상의 이미지 객체(321), 도 3c의 전자 장치(330)에서 표시 중인 스크린이 나타내는 웹페이지에 포함된 텍스트 객체(331), 도 3d의 전자 장치(340)에서 표시 중인 스크린이 나타내는 신문 이미지에 포함된 텍스트 객체(341), 도 3e의 전자 장치(350)에서 표시 중인 스크린이 나타내는 이미지(예 : 쿠폰 이미지)에 포함된 데이터 객체(351), 도 3f의 전자 장치(360)에서 표시 중인 스크린이 나타내는 웹페이지에 포함된 데이터 객체(361), 또는 이들의 조합을 포함할 수 있다. 다양한 실시 예들에서, 도 3a의 전자 장치(310)에서 표시 중인 스크린이 나타내는 이미지는 카메라 회로(130)를 통해 획득된 깊이 정보를 포함하는 이미지일 수 있다. 다양한 실시 예들에서, 도 3b의 전자 장치(320)에서 표시 중인 스크린이 나타내는 이미지는 피엔지 이미지일 수 있다. 다양한 실시 예들에서, 도 3c의 전자 장치(330)에서 표시 중인 스크린이 나타내는 웹페이지에 포함된 텍스트 객체(331)는 사용자의 입력에 의해 선택된 텍스트들일 수 있다. 다양한 실시 예들에서, 도 3d의 전자 장치(330)에서 표시 중인 스크린이 나타내는 신문 이미지에 포함된 텍스트 객체(341)는 프로세서(110)가 광학 문자 인식(optical character recognition; OCR)을 수행하여 이미지에서 추출 가능한 텍스트들일 수 있다. 다양한 실시 예들에서, 도 3e의 전자 장치(330)에서 표시 중인 스크린이 나타내는 이미지(예: 쿠폰 이미지)에 포함된 데이터 객체(351)에 포함된 데이터 객체(351)는 프로세서(110)가 이미지에 포함된 메타데이터, 광학 문자 인식에 기초하여 추출 가능한 데이터들일 수 있다. 다양한 실시 예들에서, 도 3f의 전자 장치(360)에서 표시 중인 스크린이 나타내는 웹페이지에 포함된 데이터 객체(361)는 웹페이지에서 추출 가능한 데이터들(예: 웹페이지 주소)일 수 있다. 하지만, 콘텐트에 포함된 객체는 이들에 제한되지 않는다.
도 2를 참조하면, 동작(230)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))와 연결할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 통신 회로(120)를 이용하여, 다른 전자 장치(예: 전자 장치(102))와 연결할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 표시 중인 콘텐트와 관련한 사용자 입력에 기초하여, 다른 전자 장치(예: 전자 장치(102))와 연결할 수 있다. 다양한 실시 예들에서, 표시 중인 콘텐트와 관련한 사용자 입력은 콘텐트의 소정 위치에 표시되는 버튼(예: 아이콘)에 대한 터치 입력일 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 사용자 입력에 기초하여, 콘텐트의 소정 위치에 표시되는 버튼(예: 아이콘)이 나타내는 다른 전자 장치(예: 전자 장치(102))에 연결을 요청하고, 요청에 대한 응답을 수신함으로써, 다른 전자 장치(예: 전자 장치(102))와 연결할 수 있다. 동작(230)은 아래에서 도 6 및 도 7을 참조하여 설명한다.
도 2를 참조하면, 동작(250)에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되고 있는 이미지 위에 중첩된 객체를 표시 장치(140) 상에 표시할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되고 있는 이미지 위에 동작(210)에서 추출된 객체를 중첩하고, 이미지 위에 중첩된 객체를 표시 장치(140) 상에 표시할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되고 있는 이미지의 중심에 객체의 중심이 놓이도록, 이미지 위에 객체를 중첩할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 표시 장치(140)의 중심에 객체의 중심이 놓이도록, 이미지 위에 객체를 중첩할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 이미지의 제1 위치에 중첩한 객체를 사용자 입력에 기초하여, 이미지의 제2 위치에 중첩할 수 있다. 동작(250)은 아래에서 도 8 및 도 9를 참조하여 설명한다.
도 2를 참조하면, 동작(270)에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되고 있는 이미지에 기초하여, 다른 전자 장치(예: 전자 장치(102))가 표시하고 있는 다른 콘텐트 상의 위치를 결정할 수 있다. 동작(270)은 아래에서 도 8 내지 도 13을 참조하여 설명한다.
도 2를 참조하면, 동작(290)에서, 전자 장치(101)의 프로세서(110)는 다른 콘텐트의 결정된 위치에 추출된 객체가 포함되도록 객체 정보 및 위치 정보를 전송할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 객체 정보 및 위치 정보를 다른 전자 장치(예: 전자 장치(102))에 전송할 수 있다. 동작(290)은 아래에서 도 14 및 도 15를 참조하여 설명한다.
도 4는, 다양한 실시예들에 따른 전자 장치(101)의 동작을 도시한다. 도 4에서 도시된 전자 장치(101)의 동작들은 도 2에서 도시된 전자 장치(101)의 동작(210)에 포함될 수 있다. 도 4는 도 1에 도시된 전자 장치(101)의 구성 요소들을 참조하여 설명한다.
도 5는, 다양한 실시예들에 따른 전자 장치들(511, 521, 531, 541)이 객체를 추출하는 동작의 다양한 예들(502, 512, 522, 532, 542)을 도시한다. 도 5에서 도시된 전자 장치들(511, 521, 531, 541)은 도 1에서 도시된 전자 장치(101)에 포함될 수 있다.
도 4를 참조하면, 동작(410)에서, 전자 장치(101)의 프로세서(110)는 표시 장치(140)에서 표시 중인 콘텐트에 포함된 객체를 인식할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 표시 장치(140)에서 표시 중인 콘텐트에서 하나 이상의 객체들을 인식할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 이미지 객체, 텍스트 객체, 데이터 객체, 또는 그들의 조합을 인식할 수 있다. 다양한 실시 예들에서, 데이터 객체는 이미지 객체, 텍스트 객체, 또는 그들의 조합에서 추출 가능한 정보(예: URL, 할인 코드)를 나타내는 객체일 수 있다.
도 5의 (A)는 바닥에서 강아지(505)가 앉아 있는 모습을 나타낸다. 다양한 실시 예들에서, 도 5의 (B)를 참조하면, 사용자는 자신의 전자 장치(511)를 이용하여, 바닥에 앉아 있는 강아지를 촬영할 수 있다. 도 5의 (B)를 참조하면, 사용자는 자신의 전자 장치(511)를 이용하여 촬영한 강아지 객체(515)를 포함하는 이미지가 전자 장치(511)의 표시 장치에 표시될 수 있다. 다양한 실시 예들에서, 전자 장치(511)는 이미지에서 강아지 객체(515)를 포함하는 영역(514)을 인식함으로써, 배경 이미지(513)과 강아지 객체(515)를 식별할 수 있다.
도 4를 참조하면, 동작(420)에서, 전자 장치(101)의 프로세서(110)는 인식된 객체의 사용 여부를 결정할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 사용자 입력에 기초하여, 인식된 객체의 사용 여부를 결정할 수 있다. 다양한 실시 예들에서, 사용자 입력은 콘텐트에서 인식된 하나 이상의 객체들 중 적어도 하나의 객체를 선택하는 신호에 대응하는 입력일 수 있다.
도 4를 참조하면, 동작(420)에서, 전자 장치(101)의 프로세서(110)는 인식된 객체의 사용이 결정되면(예), 동작(430)을 수행할 수 있다. 도 4를 참조하면, 동작(420)에서, 전자 장치(101)의 프로세서(110)는 인식된 객체의 불사용이 결정되면(아니오), 동작(450)을 수행할 수 있다.
도 5를 참조하면, 전자 장치(511)가 도 5의 (B)와 같은 상황인 경우, 사용자 입력에 기초하여, 도 5의 (C)와 같은 상황, 또는 도 5의 (D)와 같은 상황으로 변경될 수 있다. 도 5의 (B)와 같은 상황에서, 전자 장치(511)에서 인식한 강아지 객체(515)를 사용하는 것으로 결정되면 도 5의 (C)와 같은 상황이 발생할 수 있다. 도 5의 (B)와 같은 상황에서, 전자 장치(511)에서 인식한 강아지 객체(515)를 사용하지 않는 것으로 결정되면 도 5의 (D)와 같은 상황이 발생할 수 있다.
도 4를 참조하면, 동작(430)에서, 전자 장치(101)의 프로세서(110)는 인식된 객체를 송신할 객체로 결정할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 사용자 입력에 기초하여 사용이 결정된 인식된 객체를 외부 전자 장치(예: 전자 장치(102))로 송신할 객체로 결정할 수 있다.
도 4를 참조하면, 동작(440)에서, 전자 장치(101)의 프로세서(110)는 외부 전자 장치(예: 전자 장치(102))로 송신할 객체에 대한 정보를 생성할 수 있다. 다양한 실시 예들에서, 송신할 객체에 대한 정보는 객체를 표시 장치(140)에서 표시하기 위한 데이터, 객체의 유형, 크기, 또는 그들의 조합을 포함할 수 있다.
도 5의 (C)를 참조하면, 전자 장치(521)는 강아지 객체(525)에 대한 정보를 생성할 수 있다. 다양한 실시 예들에서, 강아지 객체(525)에 대한 정보에는 배경(523)에 대한 정보가 생략될 수 있다. 다양한 실시 예들에서, 전자 장치(521)는 강아지 객체(525)에 대한 정보를 생성함으로써, 표시 장치(140)에서 강아지 객체(525)에 대해서만 표시될 수 있다. 다양한 실시 예들에서, 전자 장치(521)는 강아지 객체(525)에 대한 정보를 생성하는 경우, 카메라 회로(130)는 공간(522)에 대한 이미지 획득을 중단하고, 획득 표시 장치(140)는 강아지 객체(525)를 표시할 수 있다.
도 4를 참조하면, 동작(450)에서, 전자 장치(101)의 프로세서(110)는 서버(103)에 연관 객체를 요청할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 표시 장치(140)에서 표시 중인 콘텐트를 서버(103)에 송신함으로써, 표시 장치(140)에서 표시 중인 콘텐트에 포함된 객체의 연관 객체를 서버(103)에 요청할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 표시 장치(140)에서 표시 중인 콘텐트에서 인식된 객체를 서버(103)에 송신함으로써, 표시 장치(140)에서 표시 중인 콘텐트에 포함된 객체의 연관 객체를 서버(103)에 요청할 수 있다. 다양한 실시 예들에서, 연관 객체는 서버(103)가 콘텐트에서 인식한 객체들과 유사한 객체들일 수 있다. 다양한 실시 예들에서, 서버(103)가 콘텐트에서 강아지를 나타내는 객체를 인식한 경우, 객체가 나타내는 강아지와 동일, 또는 유사한 품종의 강아지를 나타내는 객체, 객체가 나타내는 강아지의 포즈와 동일, 또는 유사한 포즈의 강아지를 나타내는 객체, 또는 그들의 조합은 연관 객체로 평가될 수 있다.
도 4를 참조하면, 동작(460)에서, 전자 장치(101)의 프로세서(110)는 서버(103)로부터 다수의 연관 객체들에 대한 정보를 수신할 수 있다. 다양한 실시 예들에서, 연관 객체에 대한 정보는 연관 객체를 표시 장치(140)에서 표시하기 위한 데이터, 연관 객체에 대한 썸네일 이미지, 연관 객체의 유형, 크기, 또는 그들의 조합을 포함할 수 있다.
도 4를 참조하면, 동작(470)에서, 전자 장치(101)의 프로세서(110)는 다수의 연관 객체들 중에서 송신할 객체를 선택할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 사용자 입력에 기초하여, 다수의 연관 객체들 중에서 송신할 객체를 선택할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 다수의 연관 객체들 각각에 대한 썸네일 이미지를 표시 장치(140)의 소정의 영역에 표시하고, 다수의 연관 객체들 중 적어도 하나의 연관 객체에 대한 썸네일 이미지를 선택하는 사용자 입력에 기초하여, 다수의 연관 객체들 중에서 송신할 객체를 선택할 수 있다.
도 4를 참조하면, 동작(470) 이후, 동작(440)이 수행될 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 선택된 연관 객체에 대한 정보를 생성할 수 있다.
도 5의 (D)를 참조하면, 전자 장치(531)는 이미지의 배경(533), 강아지 객체(535), 강아지 객체(535)를 포함하는 영역(534), 또는 그들의 조합을 서버(103)에 송신함으로써, 서버(103)로부터 수신된 강아지 객체(535)에 대한 다수의 연관 객체들 각각을 나타내는 썸네일 이미지를 표시 장치(140)의 하단에 표시할 수 있다. 다양한 실시 예들에서, 전자 장치(532)의 사용자는 자신의 손가락을 입력 수단으로 이용하여 다수의 썸네일 이미지들 중 하나의 썸네일 이미지를 선택할 수 있다.
도 5의 (E)를 참조하면, 전자 장치(541)는 선택된 썸네일 이미지에 상응하는 강아지 객체(545)를 표시 장치(140)를 통해 표시할 수 있다. 다양한 실시 예들에서, 강아지 객체(545)의 배경(543)은 없을 수 있다.
도 6은, 다양한 실시예들에 따른 전자 장치(101)의 동작을 도시한다. 도 6에서 도시된 전자 장치(101)의 동작들은 도 2에서 도시된 전자 장치(101)의 동작(230)에 포함될 수 있다. 도 6은 도 1에 도시된 전자 장치(101)의 구성 요소들을 참조하여 설명한다.
도 7은, 다양한 실시예들에 따른 전자 장치들(711, 721, 731)이 다른 전자 장치와 연결하는 동작의 예를 도시한다. 도 7에서 도시된 전자 장치들(711, 721, 731)은 도 1에서 도시된 전자 장치(101)에 포함될 수 있다.
도 6을 참조하면, 동작(610)에서 전자 장치(101)의 프로세서(110)는 전자 장치 연결 요청에 응답하여 다수의 연결 가능한 전자 장치들(예: 전자 장치(102))에 대한 정보(예: 연결 명칭)를 표시할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 선택된 객체에 대한 정보가 생성된 후 표시 장치(140)에서 선택된 객체가 표시되는 상황에서, 표시 장치(140)의 소정의 위치에 표시되는 전자 장치 연결 아이콘에 대한 사용자 입력이 감지되면, 전자 장치 연결 요청이 입력된 것으로 식별할 수 있다.
도 7의 (A)를 참조하면, 전자 장치(711)는 표시 장치(140)를 통해 강아지 객체(712)와 전자 장치 연결 아이콘(713)을 표시하고 있다. 도 7의 (A)에서의 전자 장치 연결 아이콘(713)에 대한 사용자 입력(예: 터치 입력)이 감지되면, 전자 장치(721)는 도 7의 (B)와 같이, 연결 가능한 전자 장치(예: 전자 장치(102))에 대한 정보(예: 연결 명칭)(725)를 포함하는 레이아웃(724)을 상기 강아지 객체(712) 및 전자 장치 연결 아이콘(723)를 나타내는 레이어 위에 표시할 수 있다.
도 6을 참조하면, 동작(620)에서 전자 장치(101)의 프로세서(110)는 다수의 연결 가능한 전자 장치들 중 선택된 전자 장치에 연결할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 통신 회로(120)를 이용하여, 사용자 입력에 의해 선택된 전자 장치(예: 전자 장치(102))와 연결할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 통신 회로(120)는 근거리 통신 네트워크(예: 블루투스, WiFi direct 또는 IrDA)를 통해 다른 전자 장치(예: 전자 장치(102))와 연결할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 선택된 전자 장치(예: 전자 장치(102))와 연결되면, 전자 장치 연결 아이콘을 카메라 아이콘으로 변경할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 카메라 아이콘에 대한 사용자 입력이 인식되면, 카메라 회로(130)를 활성화할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 활성화하면, 카메라 회로(130)를 통해 획득되고 있는 이미지에 추출된 객체를 중첩시킬 수 있다.
도 7의 (B)를 참조하면, 전자 장치(721)는 표시 장치(140)를 통해 표시 중인 레이아웃(724) 상에서 사용자 입력(726)이 인식되면, 사용자 입력(726)이 나타내는 전자 장치(예: 전자 장치(102))와 연결할 수 있다. 다양한 실시 예들에서, 도 7의 (C)와 같이, 전자 장치(731)는 선택된 전자 장치(예: 전자 장치(102))와 연결되면, 전자 장치 연결 아이콘(723)을 카메라 아이콘(733)으로 변경할 수 있다.
도 8은, 다양한 실시예들에 따른 전자 장치(101)의 동작을 도시한다. 도 8에서 도시된 전자 장치(101)의 동작들은 도 2에서 도시된 전자 장치(101)의 동작(250) 내지 동작(290)에 포함될 수 있다. 도 8은 도 1에 도시된 전자 장치(101)의 구성 요소들을 참조하여 설명한다.
도 9는, 다양한 실시예들에 따른 전자 장치(924)가 추출된 객체를 다른 전자 장치들(911, 921, 931)의 콘텐트에 포함시키는 동작의 예를 도시한다.
도 8을 참조하면, 동작(810)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))로부터 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트에 대한 정보를 획득할 수 있다. 다양한 실시 예들에서, 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트는 이미지, 텍스트, 동영상, 또는 그들의 조합일 수 있다. 다양한 실시 예들에서, 다른 콘텐트에 대한 정보는 다른 콘텐트에 식별자(예: 이진 코드)가 중첩되었는지 여부, 다른 콘텐트에 중첩된 식별자가 나타내는 값, 식별자가 중첩된 다른 콘텐트 상의 위치에 대한 정보, 또는 그들의 조합을 포함할 수 있다.
도 9의 (A)를 참조하면, 다른 전자 장치(911)가 표시 장치(912)에 어린 아이를 나타내는 이미지 객체를 포함하는 이미지(913)를 표시하고 있는 경우, 다른 전자 장치(911)는 어린 아이를 나타내는 이미지(913)에 대한 정보, 이미지(913)를 표시 장치(912)에 디스플레이하기 위한 어플리케이션에 대한 정보, 또는 그들의 조합을 전자 장치(예: 101))(또는, 서버(103))에 전송할 수 있다.
도 8을 참조하면, 동작(820)에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되고 있는 이미지 위에 송신할 객체를 중첩하여 표시할 수 있다. 다양한 실시 예들에서, 프로세서(110)는 사용자 입력(예: 터치 입력)에 응답하여 카메라 회로(130)를 활성화한 후 획득되고 있는 이미지에 위에 송신할 객체를 중첩하여 표시 장치(140)에 표시할 수 있다. 다양한 실시 예들에서, 프로세서(110)는 카메라 회로(130)가 획득하고 있는 이미지의 설정된 위치에 추출된 객체를 중첩할 수 있다. 다양한 실시 예들에서, 카메라 회로(130)를 통해 획득되고 있는 이미지는 카메라 회로(130)를 통해 획득된 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트의 적어도 일부를 포함할 수 있다.
도 9의 (B)를 참조하면, 다른 전자 장치(921)가 표시 장치(922)에 어린 아이를 나타내는 이미지 객체를 포함하는 이미지(923)를 표시하고 있는 경우, 사용자는 전자 장치(925)의 카메라 회로(130)가 표시 장치(922)를 지향하도록 함으로써, 전자 장치(925)의 카메라 회로(130)가 표시 장치(922)의 적어도 일부를 포함하는 이미지를 획득할 수 있다. 도 9의 (B)를 참조하면, 전자 장치(925)는 전자 장치(925)의 카메라 회로(130)가 획득하고 있는 표시 장치(922)의 적어도 일부를 포함하는 이미지에 강아지를 나타내는 이미지 객체(924)를 중첩시하여 표시 장치(140)를 통해 표현할 수 있다.
도 8을 참조하면, 동작(830)에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되고 있는 이미지와 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트에 대한 정보에 기초하여 위치 정보를 생성할 수 있다.
도 8을 참조하면, 동작(840)에서, 전자 장치(101)의 프로세서(110)는 다른 콘텐트의 결정된 위치에 추출된 객체가 포함되도록 객체 정보 및 위치 정보를 전송할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 객체 정보 및 위치 정보를 다른 전자 장치(예: 전자장치(102)), 또는 서버(103)에 전송할 수 있다. 다양한 실시 예들에서, 서버(103)는 다른 전자 장치(예: 전자장치(102))에 객체 정보 및 위치 정보를 전송함으로써, 다른 콘텐트의 결정된 위치에 추출된 객체가 포함되도록 다른 전자 장치(예: 전자장치(102))에 요청할 수 있다.
도 9의 (C)를 참조하면, 다른 전자 장치(931)가 표시 장치(932)에 어린 아이를 나타내는 이미지 객체를 포함하는 이미지(933)에 전자 장치(925)로부터 획득된 객체 정보 및 위치 정보에 기초하여, 강아지를 나타내는 이미지 객체(934)를 포함시킬 수 있다. 도 9의 (C)를 참조하면, 다른 전자 장치(931)의 표시 장치(932)는 어린 아이를 나타내는 이미지 객체와 이미지 객체(934)가 포함된 이미지(933)를 표시할 수 있다.
도 10은, 다양한 실시예들에 따른 전자 장치(101)의 동작을 도시한다. 도 10에서 도시된 전자 장치(101)의 동작들은 도 2에서 도시된 전자 장치(101)의 동작(270), 또는 도 8에서 도시된 전자 장치(101)의 동작들(820, 830)에 포함될 수 있다. 도 10은 도 1에 도시된 전자 장치(101)의 구성 요소들을 참조하여 설명한다.
도 11는, 다양한 실시예들에 따른 전자 장치가 위치를 결정하는 동작의 예를 도시한다.
도 10을 참조하면, 동작(1010)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트가 설정된 콘텐트인지 확인할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))로부터 수신된 다른 콘텐트에 대한 정보에 기초하여, 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트가 설정된 콘텐트인지 확인할 수 있다. 다양한 실시 예들에서, 설정된 콘텐트는, 단일 색(예: 흰색)의 콘텐트, 중복된 패턴(예: 중복된 빗금 패턴)을 가지는 콘텐트, 또는 그들의 조합일 수 있다.
도 10을 참조하면, 동작(1010)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트가 설정된 콘텐트인 것으로 확인되면(예), 동작(1020)을 수행할 수 있다. 도 10을 참조하면, 동작(1010)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트가 설정된 콘텐트가 아닌 것으로 확인되면(아니오), 도 10에 따른 프로세스를 종료할 수 있다.
도 11의 (A)를 참조하면, 다른 전자 장치(1111)가 표시 중인 스크린이 단일 색(예: 흰색)의 콘텐트를 표시하고 있는 경우, 전자 장치(1151)는 다른 전자 장치(1111)가 표시 중인 다른 콘텐트가 설정된 콘텐트인 것으로 확인할 수 있다.
도 10을 참조하면, 동작(1020)에서, 전자 장치(101)의 카메라 회로(130)는 다른 전자 장치(예: 전자 장치(102))의 설정된 영역을 포함하는 다른 이미지를 획득할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)가 다른 전자 장치의 설정된 영역을 포함하는 다른 이미지를 획득하도록 카메라 회로(130)를 제어할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 표시 장치(140)에 설정된 안내 문구(예: “화면 전체를 인식할 수 있도록 뒤로 가주세요”)를 표시함으로써, 사용자에게 카메라 회로(130)가 다른 전자 장치(예: 전자 장치(102))의 설정된 영역을 포함하는 다른 이미지를 획득하도록 전자 장치(101)을 제어할 것을 요청할 수 있다. 다양한 실시 예들에서, 다른 전자 장치(예: 전자 장치(102))의 설정된 영역은 다른 전자 장치(예: 전자 장치(102))의 표시 장치의 전체, 또는 일부를 포함하는 영역일 수 있다.
도 10을 참조하면, 동작(1030)에서, 전자 장치(101)의 프로세서(110)는 획득된 다른 이미지에 기초하여 카메라 회로(130)를 통해 획득되고 있는 이미지 위에 식별자를 표시할 수 있다. 다양한 실시 예들에서, 식별자는 전자 장치(101)의 표시 장치(140)에서 상기 이미지 위에 표현되는 가상의 식별 선(또는 도형, 코드)일 수 있다. 다양한 실시 예들에서, 식별자는 카메라 회로(130)를 통해 획득되고 있는 이미지에서 다른 전자 장치(예: 전자 장치(102))의 표시 장치를 나타내는 영역에 표현되는 가상의 식별 선(또는 도형)일 수 있다.
도 11의 (B)를 참조하면, 다른 전자 장치(1111)의 표시 장치의 전체를 포함하는 이미지(1121)가 카메라 회로(130)를 통해 획득되면, 전자 장치(1151)는 이미지(1121)가 나타내는 표시 장치의 특징(예: 다른 전자 장치(1111)의 외곽 영역)에 기초하여, 이미지(1121)의 표시 장치를 나타내는 영역에 가상의 식별 선들(1131 내지 1137 및 1141 내지 1144)를 설정할 수 있다. 다양한 실시 예들에서, 전자 장치(1151)에서 카메라 회로(130)를 통해 획득되는 이미지가 표시 가능한 이미지(1121)의 일부 영역을 나타내는 경우, 이미지(1121)의 일부 영역에 설정된 식별 선들(1131 내지 1137 및 1141 내지 1144)이 표시 장치(140)에 표시될 수 있다.
도 10을 참조하면, 동작(1040)에서, 전자 장치(101)의 프로세서(110)는 식별자에 기초하여 위치 정보를 생성할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되는 이미지가 획득된 다른 이미지의 일부 영역을 나타내는 경우, 설정된 식별선들 중 일부 영역에 설정된 식별선들을 확인하고, 확인된 식별선들의 위치에 기초하여, 위치 정보를 생성할 수 있다.
도 11의 (C)를 참조하면, 다른 전자 장치(1111)의 표시 장치의 전체를 포함하는 이미지(1121)의 일부 영역이 카메라 회로(130)를 통해 획득되고, 전자 장치(1151)는 획득된 일부 영역을 표시할 수 있다. 다양한 실시 예들에서, 전자 장치(1151)는 일부 영역에 대해 표시 장치(140)에서 표시되고 있는 식별선들(1164 내지 1166, 1171 내지 1174)을 확인할 수 있다. 다양한 실시 예들에서, 전자 장치(1151)는 확인된 식별선들(1164 내지 1166, 1171 내지 1174)이 이미지(1121)의 식별선들 (1134 내지 1136, 1141 내지 1144)에 대응하는 것에 기초하여, 확인된 식별선들(1164 내지 1166, 1171 내지 1174)의 위치를 확인할 수 있다. 다양한 실시 예들에서, 전자 장치(1151)는 확인된 식별선들(1164 내지 1166, 1171 내지 1174)의 위치에 기초하여, 강아지를 나타내는 이미지 객체(1152)의 위치 정보를 생성할 수 있다.
도 12은, 다양한 실시예들에 따른 전자 장치(101)의 동작을 도시한다. 도 12에서 도시된 전자 장치(101)의 동작들은 도 2에서 도시된 전자 장치(101)의 동작(270), 또는 도 8에서 도시된 전자 장치(101)의 동작들(820, 830)에 포함될 수 있다. 도 12는 도 1에 도시된 전자 장치(101)의 구성 요소들을 참조하여 설명한다.
도 13는, 다양한 실시예들에 따른 전자 장치가 위치를 결정하는 동작의 예를 도시한다.
도 12를 참조하면, 동작(1210)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트가 식별자를 포함하는지 확인할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))로부터 획득된 다른 콘텐트에 대한 정보에 기초하여, 다른 콘텐트가 식별자를 포함하는지 확인할 수 있다. 다양한 실시 예들에서, 식별자는 다른 전자 장치(예: 전자 장치(102))가 전자 장치(102)에 연결된 후 표시 중인 다른 콘텐트에 중첩되는 객체일 수 있다. 다양한 실시 예들에서, 식별자는 다른 전자 장치(예: 전자 장치(102))가 전자 장치(102)에 연결된 후 표시 중인 다른 콘텐트에 중첩되는 객체일 수 있다. 다양한 실시 예들에서, 식별자는 이진 코드(예: QR(quick response) 코드)와 같은 코드일 수 있다.
도 12를 참조하면, 동작(1210)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트가 식별자를 포함하는 것으로 확인되면(예), 동작(1220)을 수행할 수 있다. 도 12를 참조하면, 동작(1210)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))가 표시 중인 다른 콘텐트가 식별자를 포함하지 않는 것으로 확인되면(아니오), 도 12에 따른 프로세스를 종료할 수 있다.
도 13의 (A)를 참조하면, 다른 전자 장치(1311)는 표시 중인 스크린에 식별자들(1312 내지 1315)을 더 표시할 수 있다.
도 12를 참조하면, 동작(1220)에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되고 있는 이미지에서 중첩된 객체에 인접한 식별자를 확인할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 카메라 회로(130)를 통해 획득되고 있는 이미지에서 식별 가능한 다수의 식별자들 중 중첩된 객체에 인접한 식별자를 확인할 수 있다. 다양한 실시 예들에서, 중첩된 객체에 인접한 식별자는 중첩된 객체의 중심 위치에서 가장 가까운 좌표를 가지는 식별자일 수 있다.
도 12를 참조하면, 동작(1230)에서, 전자 장치(101)의 프로세서(110)는 확인된 식별자에 기초하여 위치 정보를 생성할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 확인된 인접한 식별자가 다른 콘텐트 상에서 중첩된 위치에 기초하여, 위치 정보를 생성할 수 있다.
도 13의 (B)를 참조하면, 전자 장치(1321)는 카메라 회로(130)를 식별자(1325)를 포함하는 이미지를 획득할 수 있다. 다양한 실시 예들에서, 전자 장치(1321)는 카메라 회로(130)를 통해 획득되는 이미지에 포함된 식별자(1325)를 다른 전자 장치(1311)로부터 획득되는 다른 콘텐트에 대한 정보에 기초하여, 확인할 수 있다. 다양한 실시 예들에서, 전자 장치(1321)는 이미지에 포함된 식별자(1325)가 식별자(1315)에 대응하는 것에 기초하여, 강아지를 나타내는 이미지 객체(1322)의 위치 정보를 생성할 수 있다.
도 14은, 다양한 실시예들에 따른 전자 장치(101)의 동작을 도시한다. 도 14에서 도시된 전자 장치(101)의 동작들은 도 2에서 도시된 전자 장치(101)의 동작(290), 또는 도 8에서 도시된 전자 장치(101)의 동작(840)에 포함될 수 있다. 도 14는 도 1에 도시된 전자 장치(101)의 구성 요소들을 참조하여 설명한다.
도 15는, 다른 전자 장치(1511)에서 디스플레이 중인 화면의 예를 도시한다.
도 14를 참조하면, 동작(1410)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))에 위치 정보를 전송할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))에 위치 정보를 전송하도록 서버(103)에 요청할 수 있다. 다양한 실시 예들에서, 위치 정보는 서버(103)에서 연산된 정보일 수 있다.
도 14를 참조하면, 동작(1420)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))로부터 위치 정보에 상응하는 위치의 콘텐트에 포함된 객체의 유형을 나타내는 정보를 수신할 수 있다. 다양한 실시 예들에서, 객체의 유형은 객체 입력 유형을 나타낼 수 있다. 다양한 실시 예들에서, 객체의 유형을 나타내는 정보는 이미지 객체, 텍스트 객체, 또는 데이터 객체 중 적어도 하나의 객체가 포함될 수 있다는 정보를 나타낼 수 있다.
도 15를 참조하면, 외부 전자 장치(1511)에서 표시하고 있는 이미지는 3개의 객체들(1521, 1531, 1541)을 포함할 수 있다. 다양한 실시 예들에서, 외부 전자 장치(1511)는 객체들(1521, 1531, 1541) 중 수신된 위치 정보에 상응하는 객체(예: 제1 객체(1521))의 유형을 나타내는 정보를 전자 장치(101)에 송신할 수 있다. 다양한 실시 예들에서, 수신된 위치 정보에 상응하는 객체(예: 제1 객체(1521))의 유형을 나타내는 정보는 이미지 객체가 포함될 수 있다는 정보를 나타낼 수 있다. 다양한 실시 예들에서, 수신된 위치 정보에 상응하는 객체(예: 제2 객체(1531))의 유형을 나타내는 정보는 텍스트 객체가 포함될 수 있다는 정보를 나타낼 수 있다. 다양한 실시 예들에서, 수신된 위치 정보에 상응하는 객체(예: 제3 객체(1541))의 유형을 나타내는 정보는 데이터 객체가 포함될 수 있다는 정보를 나타낼 수 있다.
도 14를 참조하면, 동작(1430)에서, 전자 장치(101)의 프로세서(110)는 송신할 객체에 대한 정보 중 수신된 유형에 상응하는 객체 정보를 추출할 수 있다. 다양한 실시 예들에서, 수신된 유형을 나타내는 정보가 이미지 객체가 포함될 수 있음을 나타내는 경우, 전자 장치(101)의 프로세서(110)는 객체에 대한 정보 중 객체를 표시 장치(140)에서 표시하기 위한 데이터를 추출할 수 있다. 다양한 실시 예들에서, 수신된 유형을 나타내는 정보가 텍스트 객체가 포함될 수 있음을 나타내는 경우, 전자 장치(101)의 프로세서(110)는 객체에 대한 정보 중 텍스트를 추출할 수 있다. 다양한 실시 예들에서, 수신된 유형을 나타내는 정보가 데이터 객체가 포함될 수 있음을 나타내는 경우, 전자 장치(101)의 프로세서(110)는 객체에 대한 정보 중 데이터 객체가 포함되는 데이터(예: URL, 할인 코드)를 추출할 수 있다. 다양한 실시 예들에서, 데이터가 복수의 정보를 포함하는 경우, 전자 장치(101)의 프로세서(110)는 수신된 위치 정보에 상응하는 객체의 입력 필드 정보에 상응하는 정보를 추출할 수 있다.
도 14를 참조하면, 동작(1440)에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))에 추출된 객체 정보를 송신할 수 있다. 다양한 실시 예들에서, 전자 장치(101)의 프로세서(110)는 다른 전자 장치(예: 전자 장치(102))에 객체 정보를 전송하도록 서버(103)에 요청할 수 있다.
도 16는, 다양한 실시예들에 따른 전자 장치들(1611, 1621, 1631)이 객체들(1613, 1623, 1633)을 편집하는 동작의 예를 도시한다.
도 16의 (A)를 참조하면, 다양한 실시예들에 따른 전자 장치(1611)는 새를 나타내는 이미지 객체(1613)를 표시 장치(140)를 통해 표시할 수 있다.
도 16의 (B) 및 (C)를 참조하면, 전자 장치(1611)는 사용자의 입력에 기초하여 새를 나타내는 이미지 객체(1613)를 편집할 수 있다. 다양한 실시 예들에서, 사용자의 입력은 입력 장치(150)를 통해 입력되는 신호, 센서 회로(170)를 통해 감지되는 신호(예: 전자 장치(101)의 움직임, 흔들림을 감지하는 신호), 또는 그들의 조합일 수 있다.
다양한 실시 예들에서, 센서 회로(170)를 통해 전자 장치(1621)가 좌우로 흔들리는 것이 감지되면, 전자 장치(1621)는 흔들리는 방향에 따라 새를 나타내는 이미지 객체(1613)를 회전시킴으로써, 이미지 객체(1613)를 편집할 수 있다. 도 16의 (B)를 참조하면, 전자 장치(1621)는 흔들리는 방향에 따라 회전된 이미지 객체(1623)를 표시 장치(140)를 통해 표시할 수 있다.
다양한 실시 예들에서, 센서 회로(170)를 통해 전자 장치(1621)가 기준 축에 기초하여 흔들리는 것이 감지되면, 전자 장치(1621)는 흔들리는 방향에 따라 새를 나타내는 이미지 객체(1613)를 반전시킴으로써, 이미지 객체(1613)를 편집할 수 있다. 도 16의 (C)를 참조하면, 전자 장치(1631)는 세로 축에 따라 흔들리는 것이 감지되면, 세로 축에 기초하여 반전(예: 좌우 반전)된 이미지 객체(1633)를 표시 장치(140)를 통해 표시할 수 있다. 다양한 실시 예들에서, 전자 장치(1631)는 가로 축에 따라 흔들리는 것이 감지되면, 가로 축에 기초하여 반전(예: 상하 반전)된 이미지 객체를 표시 장치(140)를 통해 표시할 수 있다.
도 17는, 다양한 실시예들에 따른 전자 장치들(1711, 1721)이 객체들(1712, 1722)을 편집하는 동작의 예를 도시한다.
도 17의 (A)를 참조하면, 다양한 실시예들에 따른 전자 장치(1711)는 강아지를 나타내는 제1 이미지 객체(1712)를 표시 장치(140)를 통해 표시할 수 있다. 도 17의 (A)를 참조하면, 다양한 실시예들에 따른 전자 장치(1711)는 사용자 입력에 기초하여 강아지를 나타내는 제1 이미지 객체(1712)를 확대할 수 있다. 다양한 실시 예들에서, 사용자 입력은 두 지점들(1713, 1714)에 대한 터치 입력이 유지되는 동안 두 지점들(1713, 1714) 간의 거리가 멀어지는 신호에 상응하는 입력일 수 있다. 하지만, 이에 제한되지 않는다. 다양한 실시 예들에서, 전자 장치(1711)는 전자 장치(1711)와 다른 전자 장치(예: 전자 장치(102))의 표시 장치 간의 거리에 기초하여, 제1 이미지 객체(1712)의 크기를 변경할 수 있다. 다양한 실시 예들에서, 전자 장치(1711)와 다른 전자 장치(예: 전자 장치(102))의 표시 장치 간의 거리가 가까워지는 경우, 전자 장치(1711)는 그에 비례하여, 제1 이미지 객체(1712)의 크기를 축소시킬 수 있다.
도 17의 (B)를 참조하면, 다양한 실시예들에 따른 전자 장치(1721)는 강아지를 나타내는 제2 이미지 객체(1722)를 표시 장치(140)를 통해 표시할 수 있다. 도 17의 (B)를 참조하면, 다양한 실시예들에 따른 전자 장치(1711)는 사용자 입력에 기초하여 강아지를 나타내는 제2 이미지 객체(1722)를 축소할 수 있다. 다양한 실시 예들에서, 사용자 입력은 두 지점들(1723, 1724)에 대한 터치 입력이 유지되는 동안 두 지점들(1723, 1724) 간의 거리가 가까워지는 신호에 상응하는 입력일 수 있다. 하지만, 이에 제한되지 않는다. 다양한 실시 예들에서, 전자 장치(1721)는 전자 장치(1721)와 다른 전자 장치(예: 전자 장치(102))의 표시 장치 간의 거리에 기초하여, 제2 이미지 객체(1722)의 크기를 변경할 수 있다. 다양한 실시 예들에서, 전자 장치(1721)와 다른 전자 장치(예: 전자 장치(102))의 표시 장치 간의 거리가 멀어지는 경우, 전자 장치(1721)는 그에 비례하여, 제2 이미지 객체(1722)의 크기를 확대시킬 수 있다.
도 17의 (C)를 참조하면, 외부 전자 장치(1731)는 전자 장치(1711)에서 강아지를 나타내는 제1 이미지 객체(1712)에 대한 편집에 기초하여 크기가 확대된 강아지를 나타내는 제1 이미지 객체(1733)와 전자 장치(1721)에서 강아지를 나타내는 제2 이미지 객체(1722)에 대한 편집에 기초하여 크기가 축소된 강아지를 나타내는 제2 이미지 객체(1735)를 표시 중인 화면(1732)에 중첩시킬 수 있다.
상술한 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)는 전자 장치(101)가 연동된 외부 전자 장치(예: 전자 장치(102))에서 콘텐트를 원하는 위치에 표시하기 위한 기능들을 제공할 수 있다. 상술한 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)는 전자 장치(101)가 표시 중인 콘텐트에서 선택된 객체를 연동된 외부 전자 장치(예: 전자 장치(102))에서 표시 중인 다른 콘텐트의 원하는 위치에 표시하기 위한 기능들을 제공할 수 있다.
상술한 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)는 카메라 회로, 통신 회로, 디스플레이, 명령어들을 저장하는 메모리 및 사용자 입력에 응답하여, 상기 디스플레이에 표시되고 있는 콘텐트로부터 객체를 식별하고, 상기 카메라를 통해 획득되고 있는 이미지 위에 중첩된 상기 객체를 상기 디스플레이를 통해 표시하고, 상기 이미지는 다른 전자 장치가 표시하고 있는 다른 콘텐트의 적어도 일부를 포함하며, 상기 객체를 표시하는 동안, 상기 통신 회로를 통해 다른 전자 장치로부터 상기 다른 전자 장치가 표시하고 있는 상기 다른 콘텐트에 대한 정보를 수신하고, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하고, 지정된 입력을 수신하는 것에 응답하여, 상기 객체가 상기 다른 콘텐트 내의 상기 위치에 포함되도록, 상기 객체에 대한 정보 및 상기 위치에 대한 정보를 송신하도록 구성된 프로세서를 포함할 수 있다.
다양한 실시 예들에서, 상기 전자 장치(101)의 상기 프로세서(110)는, 상기 카메라를 통해 획득되고 있는 상기 이미지와 상기 다른 콘텐트에 대한 정보를 비교하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 크기를 결정하고, 상기 추출된 객체의 상기 결정된 크기에 대한 정보를 포함하는 상기 추출된 객체에 대한 정보를 상기 다른 전자 장치에 전송할 수 있다.
다양한 실시 예들에서, 상기 전자 장치(101)는 센서 회로(170)를 더 포함하고, 상기 프로세서(110)는, 상기 센서 회로를 통해 획득되는 상기 전자 장치의 움직임에 기초하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 형태를 결정하고, 상기 추출된 객체의 상기 결정된 형태에 대한 정보를 포함하는 상기 추출된 객체에 대한 정보를 상기 다른 전자 장치에 전송할 수 있다.
다양한 실시 예들에서, 상기 전자 장치(101)의 상기 프로세서(110)는, 상기 디스플레이를 통해 표시되고 있는 상기 이미지에 대한 사용자 입력에 기초하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 크기를 결정하고, 상기 추출된 객체의 상기 결정된 크기에 대한 정보를 포함하는 상기 추출된 객체에 대한 정보를 상기 다른 전자 장치에 전송할 수 있다.
다양한 실시 예들에서, 상기 전자 장치(101)의 상기 프로세서(110)는, 상기 카메라를 통해 상기 다른 전자 장치의 디스플레이의 적어도 일부를 나타내는 다른 이미지를 획득하고, 상기 다른 이미지에 기초하여, 상기 카메라를 통해 획득되고 있는 이미지에 가상의 식별자를 설정하고, 상기 가상의 식별자에 기초하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정할 수 있다.
다양한 실시 예들에서, 상기 다른 콘텐트에 대한 정보는 상기 다른 전자 장치가 표시 중인 상기 다른 콘텐트의 좌표를 확인할 수 있는 마커에 대한 정보를 포함하고, 상기 전자 장치(101)의 상기 프로세서(110)는, 상기 카메라를 통해 상기 획득되고 있는 이미지에서 상기 추출된 객체가 중첩된 위치에서의 마커를 식별하고, 상기 식별된 마커에 대한 정보를 확인하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정할 수 있다.
다양한 실시 예들에서, 상기 전자 장치(101)의 상기 프로세서(110)는, 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 카메라 회로를 통해 상기 획득되고 있는 이미지에서 상기 추출된 객체가 중첩된 위치에 상응하는 상기 다른 콘텐트의 정보를 확인하고, 상기 확인된 다른 콘텐트의 정보에 기초하여, 상기 추출된 객체에 대한 정보에서 적어도 일부의 정보를 추출하고, 상기 추출된 적어도 일부의 정보를 상기 다른 전자 장치에 전송할 수 있다.
다양한 실시 예들에서, 상기 확인된 다른 콘텐트의 정보는 텍스트 필드를 나타내고, 상기 추출된 적어도 일부의 정보는, 상기 추출된 객체에 대한 정보 중 텍스트를 나타내는 정보일 수 있다.
다양한 실시 예들에서, 상기 확인된 다른 콘텐트의 정보는 데이터 필드를 나타내고, 상기 추출된 적어도 일부의 정보는, 상기 추출된 객체에 대한 정보 중 데이터를 나타내는 정보일 수 있다.
다양한 실시 예들에서, 상기 전자 장치(101)의 상기 프로세서(110)는, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 상기 위치가 서버에서 결정되도록, 상기 획득되고 있는 이미지를 상기 서버에 전송하고, 상기 서버는 상기 다른 전자 장치로부터 상기 다른 콘텐트에 대한 정보를 수신하고, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 상기 위치를 결정하고, 상기 서버에게 상기 결정된 위치를 상기 다른 전자 장치에 전송하도록 요청할 수 있다.
상술한 바와 같이, 다양한 실시 예들에 따른 전자 장치(101)의 동작 방법은 사용자 입력에 응답하여, 상기 전자 장치에서 표시되고 있는 콘텐트로부터 객체를 식별하는 동작과, 상기 전자 장치가 획득하고 있는 이미지 위에 중첩된 상기 객체를 표시하는 동작과, 상기 이미지는 다른 전자 장치가 표시하고 있는 다른 콘텐트의 적어도 일부를 포함하고, 상기 객체를 표시하는 동안, 다른 전자 장치로부터 상기 다른 전자 장치가 표시하고 있는 상기 다른 콘텐트에 대한 정보를 수신하는 동작과, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하는 동작과, 지정된 입력을 수신하는 것에 응답하여, 상기 객체가 상기 다른 콘텐트 내의 상기 위치에 포함되도록, 상기 객체에 대한 정보 및 상기 위치에 대한 정보를 송신하는 동작을 포함할 수 있다.
다양한 실시 예들에서, 상기 전자 장치에서 획득되고 있는 상기 이미지와 상기 다른 콘텐트에 대한 정보를 비교하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 크기를 결정하는 동작을 더 포함할 수 있다.
상기 추출된 객체에 대한 정보는 상기 추출된 객체의 상기 결정된 크기에 대한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 전자 장치의 움직임에 기초하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 형태를 결정하는 동작을 더 포함하고, 상기 추출된 객체에 대한 정보는 상기 추출된 객체의 상기 결정된 형태에 대한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 전자 장치에서 표시되고 있는 상기 이미지에 대한 사용자 입력에 기초하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 크기를 결정하는 동작을 더 포함하고, 상기 추출된 객체에 대한 정보는 상기 추출된 객체의 상기 결정된 크기에 대한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 다른 전자 장치의 디스플레이의 적어도 일부를 나타내는 다른 이미지를 획득하는 동작과, 상기 다른 이미지에 기초하여, 상기 전자 장치가 획득하고 있는 이미지에 가상의 식별자를 설정하는 동작과, 상기 가상의 식별자에 기초하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 다른 콘텐트에 대한 정보는 상기 다른 전자 장치가 표시 중인 상기 다른 콘텐트의 좌표를 확인할 수 있는 마커에 대한 정보를 포함하고, 상기 전자 장치가 획득하고 있는 상기 이미지에 상기 객체가 중첩된 위치에서의 마커를 식별하는 동작과, 상기 식별된 마커에 대한 정보를 확인하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 카메라 회로를 통해 상기 획득되고 있는 이미지에서 상기 추출된 객체가 중첩된 위치에 상응하는 상기 다른 콘텐트의 정보를 확인하는 동작과, 상기 확인된 다른 콘텐트의 정보에 기초하여, 상기 추출된 객체에 대한 정보에서 적어도 일부의 정보를 추출하는 동작과, 상기 추출된 적어도 일부의 정보를 상기 다른 전자 장치에 전송하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 확인된 다른 콘텐트의 정보는 텍스트 필드를 나타내고, 상기 추출된 적어도 일부의 정보는, 상기 추출된 객체에 대한 정보 중 텍스트를 나타내는 정보일 수 있다.
다양한 실시 예들에서, 상기 확인된 다른 콘텐트의 정보는 데이터 필드를 나타내고, 상기 추출된 적어도 일부의 정보는, 상기 추출된 객체에 대한 정보 중 데이터를 나타내는 정보일 수 있다.
다양한 실시 예들에서, 콘텐트 내에 포함될 상기 객체의 상기 위치가 서버에서 결정되도록, 상기 획득되고 있는 이미지를 상기 서버에 전송하는 동작과, 상기 서버는 상기 다른 전자 장치로부터 상기 다른 콘텐트에 대한 정보를 수신하고, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 상기 위치를 결정하고, 상기 서버에게 상기 결정된 위치를 상기 다른 전자 장치에 전송하도록 요청하는 동작을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나,”"A, B 또는 C," "A, B 및 C 중 적어도 하나,”및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(110))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라 회로;
    통신 회로;
    디스플레이;
    명령어들을 저장하는 메모리; 및
    프로세서를 포함하고, 상기 프로세서는,
    사용자 입력에 응답하여, 상기 디스플레이에 표시되고 있는 콘텐트로부터 객체를 식별하고;
    상기 카메라 회로를 통해 획득되고 있는 이미지 위에 중첩된 상기 객체를 상기 디스플레이를 통해 표시하고, 상기 이미지는 다른 전자 장치가 표시하고 있는 다른 콘텐트의 적어도 일부를 포함하며;
    상기 객체를 표시하는 동안, 상기 통신 회로를 통해 다른 전자 장치로부터 상기 다른 전자 장치가 표시하고 있는 상기 다른 콘텐트에 대한 정보를 수신하고;
    상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하고,
    지정된 입력을 수신하는 것에 응답하여, 상기 객체가 상기 다른 콘텐트 내의 상기 위치에 포함되도록, 상기 객체에 대한 정보 및 상기 위치에 대한 정보를 송신하도록 상기 저장된 명령어들을 실행하는 전자 장치.
  2. 제 1 항에 있어서, 상기 프로세서는,
    상기 카메라 회로를 통해 획득되고 있는 상기 이미지와 상기 다른 콘텐트에 대한 정보를 비교하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 크기를 결정하고,
    상기 추출된 객체의 상기 결정된 크기에 대한 정보를 포함하는 상기 추출된 객체에 대한 정보를 상기 다른 전자 장치에 전송하도록 상기 저장된 명령어들을 실행하는 전자 장치.
  3. 제 1 항에 있어서,
    센서 회로를 더 포함하고,
    상기 프로세서는,
    상기 센서 회로를 통해 획득되는 상기 전자 장치의 움직임에 기초하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 형태를 결정하고,
    상기 추출된 객체의 상기 결정된 형태에 대한 정보를 포함하는 상기 추출된 객체에 대한 정보를 상기 다른 전자 장치에 전송하도록 상기 저장된 명령어들을 실행하는 전자 장치.
  4. 제 1 항에 있어서, 상기 프로세서는,
    상기 디스플레이를 통해 표시되고 있는 상기 이미지에 대한 사용자 입력에 기초하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 크기를 결정하고,
    상기 추출된 객체의 상기 결정된 크기에 대한 정보를 포함하는 상기 추출된 객체에 대한 정보를 상기 다른 전자 장치에 전송하도록 상기 저장된 명령어들을 실행하는 전자 장치.
  5. 제 1 항에 있어서, 상기 프로세서는,
    상기 카메라 회로를 통해 상기 다른 전자 장치의 디스플레이의 적어도 일부를 나타내는 다른 이미지를 획득하고,
    상기 다른 이미지에 기초하여, 상기 카메라 회로를 통해 획득되고 있는 이미지에 가상의 식별자를 설정하고,
    상기 가상의 식별자에 기초하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하도록 상기 저장된 명령어들을 실행하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 다른 콘텐트에 대한 정보는 상기 다른 전자 장치가 표시 중인 상기 다른 콘텐트의 좌표를 확인할 수 있는 마커에 대한 정보를 포함하고,
    상기 프로세서는,
    상기 카메라 회로를 통해 상기 획득되고 있는 이미지에서 상기 추출된 객체가 중첩된 위치에서의 마커를 식별하고,
    상기 식별된 마커에 대한 정보를 확인하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하도록 상기 저장된 명령어들을 실행하는 전자 장치.
  7. 제 1 항에 있어서, 상기 프로세서는,
    상기 다른 콘텐트에 대한 정보에 기반하여, 상기 카메라 회로를 통해 상기 획득되고 있는 이미지에서 상기 추출된 객체가 중첩된 위치에 상응하는 상기 다른 콘텐트의 정보를 확인하고,
    상기 확인된 다른 콘텐트의 정보에 기초하여, 상기 추출된 객체에 대한 정보에서 적어도 일부의 정보를 추출하고,
    상기 추출된 적어도 일부의 정보를 상기 다른 전자 장치에 전송하도록 상기 저장된 명령어들을 실행하는 전자 장치.
  8. 제 1 항에 있어서, 상기 프로세서는,
    상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 상기 위치가 서버에서 결정되도록, 상기 획득되고 있는 이미지를 상기 서버에 전송하고, 상기 서버는 상기 다른 전자 장치로부터 상기 다른 콘텐트에 대한 정보를 수신하고, 상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 상기 위치를 결정하고,
    상기 서버에게 상기 결정된 위치를 상기 다른 전자 장치에 전송하도록 요청하도록 상기 저장된 명령어들을 실행하는 전자 장치.
  9. 전자 장치의 동작 방법에 있어서,
    사용자 입력에 응답하여, 상기 전자 장치에서 표시되고 있는 콘텐트로부터 객체를 식별하는 동작과,
    상기 전자 장치가 획득하고 있는 이미지 위에 중첩된 상기 객체를 표시하는 동작과, 상기 이미지는 다른 전자 장치가 표시하고 있는 다른 콘텐트의 적어도 일부를 포함함,
    상기 객체를 표시하는 동안, 다른 전자 장치로부터 상기 다른 전자 장치가 표시하고 있는 상기 다른 콘텐트에 대한 정보를 수신하는 동작과,
    상기 획득되고 있는 이미지 및 상기 다른 콘텐트에 대한 정보에 기반하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하는 동작과,
    지정된 입력을 수신하는 것에 응답하여, 상기 객체가 상기 다른 콘텐트 내의 상기 위치에 포함되도록, 상기 객체에 대한 정보 및 상기 위치에 대한 정보를 송신하는 동작을 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 전자 장치에서 획득되고 있는 상기 이미지와 상기 다른 콘텐트에 대한 정보를 비교하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 크기를 결정하는 동작을 더 포함하고,
    상기 추출된 객체에 대한 정보는 상기 추출된 객체의 상기 결정된 크기에 대한 정보를 포함하는 방법.
  11. 제 9 항에 있어서,
    상기 전자 장치의 움직임에 기초하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 형태를 결정하는 동작을 더 포함하고,
    상기 추출된 객체에 대한 정보는 상기 추출된 객체의 상기 결정된 형태에 대한 정보를 포함하는 방법.
  12. 제 9 항에 있어서,
    상기 전자 장치에서 표시되고 있는 상기 이미지에 대한 사용자 입력에 기초하여, 상기 다른 콘텐트에 포함될 상기 추출된 객체의 크기를 결정하는 동작을 더 포함하고,
    상기 추출된 객체에 대한 정보는 상기 추출된 객체의 상기 결정된 크기에 대한 정보를 포함하는 방법.
  13. 제 9 항에 있어서,
    상기 다른 전자 장치의 디스플레이의 적어도 일부를 나타내는 다른 이미지를 획득하는 동작과,
    상기 다른 이미지에 기초하여, 상기 전자 장치가 획득하고 있는 이미지에 가상의 식별자를 설정하는 동작과,
    상기 가상의 식별자에 기초하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하는 동작을 더 포함하는 방법.
  14. 제 9 항에 있어서,
    상기 다른 콘텐트에 대한 정보는 상기 다른 전자 장치가 표시 중인 상기 다른 콘텐트의 좌표를 확인할 수 있는 마커에 대한 정보를 포함하고,
    상기 전자 장치가 획득하고 있는 상기 이미지에 상기 객체가 중첩된 위치에서의 마커를 식별하는 동작과,
    상기 식별된 마커에 대한 정보를 확인하여, 상기 다른 콘텐트 내에 포함될 상기 객체의 위치를 결정하는 동작을 더 포함하는 방법.
  15. 제 9 항에 있어서,
    상기 다른 콘텐트에 대한 정보에 기반하여, 상기 카메라 회로를 통해 상기 획득되고 있는 이미지에서 상기 추출된 객체가 중첩된 위치에 상응하는 상기 다른 콘텐트의 정보를 확인하는 동작과,
    상기 확인된 다른 콘텐트의 정보에 기초하여, 상기 추출된 객체에 대한 정보에서 적어도 일부의 정보를 추출하는 동작과,
    상기 추출된 적어도 일부의 정보를 상기 다른 전자 장치에 전송하는 동작을 더 포함하는 방법.
PCT/KR2019/018563 2019-01-04 2019-12-27 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법 WO2020141808A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/309,954 US11810231B2 (en) 2019-01-04 2019-12-27 Electronic device and method for editing content of external device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0001080 2019-01-04
KR1020190001080A KR102629412B1 (ko) 2019-01-04 2019-01-04 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020141808A1 true WO2020141808A1 (ko) 2020-07-09

Family

ID=71407014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018563 WO2020141808A1 (ko) 2019-01-04 2019-12-27 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법

Country Status (3)

Country Link
US (1) US11810231B2 (ko)
KR (1) KR102629412B1 (ko)
WO (1) WO2020141808A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023096339A1 (ko) * 2021-11-29 2023-06-01 삼성전자 주식회사 외부 디스플레이 장치와 연동하여 컨텐츠를 제공하는 전자 장치 및 그 컨텐츠 제공 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100022428A (ko) * 2008-08-19 2010-03-02 광주과학기술원 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR20150128765A (ko) * 2013-03-04 2015-11-18 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 객체의 특정 위치가 디바이스에 제공되게 하는 방법
KR20170006591A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 방송 영상과 카메라로부터 수신한 객체의 영상을 합성하는 방법, 셋톱 박스 및 시스템
KR20170037431A (ko) * 2015-09-25 2017-04-04 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20180017638A (ko) * 2016-08-10 2018-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101213550B (zh) 2005-06-30 2011-09-28 诺基亚公司 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置
US8566713B2 (en) 2009-08-20 2013-10-22 Samsung Electronics Co., Ltd. Data transfer method and system
US9710968B2 (en) * 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US9940750B2 (en) * 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
JP6320237B2 (ja) * 2014-08-08 2018-05-09 株式会社東芝 仮想試着装置、仮想試着方法、およびプログラム
KR20160027692A (ko) 2014-09-02 2016-03-10 엘지전자 주식회사 화면 겹치기를 통해 디지털 컨텐츠를 복사하는 디지털 디바이스 및 그 제어 방법
CN106034282B (zh) 2015-03-19 2019-09-24 联想(北京)有限公司 一种共享数据的方法和装置
US10171751B2 (en) 2015-05-22 2019-01-01 Chad-Affonso Wathington Superimposing an image on an image of an object being photographed
US20170347226A1 (en) 2016-05-30 2017-11-30 Apple Inc. Copy And Paste Between Devices
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
KR20190140657A (ko) 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
US20220076194A1 (en) * 2018-12-21 2022-03-10 FreightVerify, Inc. System and method for monitoring logistical locations and transit entities
US10852915B1 (en) * 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100022428A (ko) * 2008-08-19 2010-03-02 광주과학기술원 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR20150128765A (ko) * 2013-03-04 2015-11-18 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 객체의 특정 위치가 디바이스에 제공되게 하는 방법
KR20170006591A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 방송 영상과 카메라로부터 수신한 객체의 영상을 합성하는 방법, 셋톱 박스 및 시스템
KR20170037431A (ko) * 2015-09-25 2017-04-04 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20180017638A (ko) * 2016-08-10 2018-02-21 엘지전자 주식회사 이동단말기 및 그 제어방법

Also Published As

Publication number Publication date
US20220076465A1 (en) 2022-03-10
US11810231B2 (en) 2023-11-07
KR20200085045A (ko) 2020-07-14
KR102629412B1 (ko) 2024-01-26

Similar Documents

Publication Publication Date Title
WO2019160345A1 (ko) 어플리케이션과 관련된 기능 또는 콘텐트를 제공하는 방법 및 이를 수행하는 전자 장치
WO2019164374A1 (ko) 전자 장치 및 아바타 기반의 커스텀 객체 운용 방법
WO2020171513A1 (en) Method and apparatus for displaying surrounding information using augmented reality
WO2020050506A1 (ko) 증강 현실 영상에 부가 객체를 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
WO2020149689A1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
WO2021015505A1 (en) Foldable electronic device and photographing method using multiple cameras in foldable electronic device
WO2020130281A1 (en) Electronic device and method for providing avatar based on emotion state of user
WO2020130689A1 (ko) 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
WO2019194455A1 (en) Apparatus and method for recognizing object in image
WO2019125029A1 (ko) 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2021045552A1 (en) Electronic device for image synthesis and operating method thereof
WO2014069722A1 (ko) 3차원 디스플레이 장치 및 그의 사용자 인터페이스 방법
WO2020116960A1 (en) Electronic device for generating video comprising character and method thereof
WO2020054978A1 (ko) 이미지 생성 장치 및 그 방법
WO2019209075A1 (ko) 외부 전자 장치를 제어하는 전자 장치 및 방법
WO2019103285A1 (ko) 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법
WO2016080662A1 (ko) 사용자 손가락들의 모션에 기반한 한글 입력 방법 및 장치
WO2020141808A1 (ko) 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법
WO2020013651A1 (ko) 전자 장치 및 전자 장치의 컨텐트 전송 방법
WO2022065763A1 (en) Display apparatus and method for controlling thereof
WO2019107719A1 (ko) 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
WO2019039861A1 (ko) 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법
WO2018056587A1 (en) Electronic apparatus and controlling method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19907578

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19907578

Country of ref document: EP

Kind code of ref document: A1