WO2020159302A1 - 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법 - Google Patents

증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2020159302A1
WO2020159302A1 PCT/KR2020/001514 KR2020001514W WO2020159302A1 WO 2020159302 A1 WO2020159302 A1 WO 2020159302A1 KR 2020001514 W KR2020001514 W KR 2020001514W WO 2020159302 A1 WO2020159302 A1 WO 2020159302A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
electronic device
objects
processor
received
Prior art date
Application number
PCT/KR2020/001514
Other languages
English (en)
French (fr)
Inventor
이미영
배주윤
우영찬
정글지
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP20749662.1A priority Critical patent/EP3905016A4/en
Priority to US17/427,608 priority patent/US12099657B2/en
Publication of WO2020159302A1 publication Critical patent/WO2020159302A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3278—Power saving in modem or I/O interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • Augmented reality may be a technology that synthesizes and shows virtual related information (eg, text, images, etc.) on objects (eg, real environments) of reality.
  • virtual related information eg, text, images, etc.
  • augmented reality provides virtual related objects on objects called real environments to provide users with additional information that is difficult to obtain using only the real environment. Can.
  • the augmented reality function provided by a conventional electronic device follows the interaction method in a 2D environment in interaction with a real object and a virtual object provided in augmented reality, and thus does not provide a rich user experience.
  • a complex selection menu in selecting a plurality of objects and performing functions related to them, multiple manipulation processes may be required for object selection and function selection by increasing the complexity of the 3D environment. Accordingly, in the augmented reality environment, user needs for lowering complexity and requiring intuitiveness in using objects and functions are increasing.
  • an interactive method and apparatus for selecting an object more intuitively and simply in augmented reality is disclosed.
  • an interactive method and apparatus for selecting a plurality of objects more intuitively and simply in augmented reality is disclosed.
  • a method and apparatus for selecting a plurality of objects in augmented reality more intuitively and simply and performing functions related to them are disclosed.
  • a method and apparatus for selecting a plurality of objects more intuitively and simply in augmented reality and providing information related to them is disclosed.
  • An electronic device includes a display, a camera module, and at least one processor, wherein the at least one processor displays one or more real objects and one or more virtual objects through the display. , Receiving a second input for the selected object after receiving a first input for selecting any one of the objects, and grouping for selected objects by repetition of the first input and the second input When the third input for the analysis is received, the information on the grouped objects is analyzed, and when the fourth input on the grouped objects is received, the function is extracted based on the information analysis on the grouped objects. It can be set to provide.
  • a method of an electronic device includes displaying one or more real objects and one or more virtual objects through a display of the electronic device, and receiving a first input for selecting any one of the objects. Subsequently, when receiving a second input for the selected object, and receiving a third input for grouping the selected objects by repetition of the first input and the second input, information about the grouped objects is received. Analysis may include an operation of providing a function to be extracted based on the analysis of the information on the grouped objects when a fourth input to the grouped objects is received.
  • An electronic device by adjusting the posture of the electronic device based on a user input received while displaying a preview image for the first image obtained through the first camera
  • a second image having a second composition corresponding to the first composition of the first image may be obtained through a second camera having characteristics different from those of the first camera.
  • FIG. 1 is a perspective view of an electronic device that performs various functions in an augmented reality environment, according to various embodiments.
  • FIG. 2 is a block diagram of an electronic device performing various functions in an augmented reality environment, according to various embodiments.
  • FIG. 3 is a block diagram of an electronic device in a network environment performing various functions in an augmented reality environment according to various embodiments.
  • FIG. 4 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • FIG. 6 is a flowchart illustrating an example of an object selection operation of the electronic device according to various embodiments of the present disclosure.
  • FIGS. 7A to 7C are diagrams illustrating an example of an object holding operation of an electronic device according to various embodiments.
  • FIG. 8 is a flowchart illustrating an example of an object storing operation of an electronic device according to various embodiments of the present disclosure.
  • 9A to 9C are diagrams illustrating an example of an object grouping and verification operation of an electronic device according to various embodiments.
  • 10A and 10B are diagrams illustrating an example of an object selection cancel operation of an electronic device according to various embodiments of the present disclosure.
  • 11 is a flowchart illustrating an example of an operation of canceling object selection or adding an object selection of an electronic device according to various embodiments of the present disclosure.
  • FIG. 12 is a flowchart illustrating an example of an operation for performing a function based on grouped objects.
  • FIGS. 13A to 13H are diagrams illustrating an example of performing a function based on grouped objects by selecting and grouping a plurality of objects in an electronic device according to various embodiments.
  • 14A to 14D are diagrams for explaining another example of performing functions based on grouped objects by selecting and grouping a plurality of objects in an electronic device according to various embodiments.
  • 15A to 15D are diagrams illustrating another example of performing functions based on grouped objects by selecting and grouping a plurality of objects in an electronic device according to various embodiments.
  • FIG. 1 is a perspective view of an electronic device 100 performing various functions in an augmented reality environment, according to various embodiments.
  • the electronic device 100 includes a frame 110 and a frame 110 that support at least one display and/or lens 120 (hereinafter referred to as a display) and are placed in front of a user's eyes. It may be in the form of eyeglasses that are connected to both sides and include the legs 111 and 112 hanging on the user's ears.
  • the legs 111 and 112 connected to both sides of the frame 110 of the electronic device 100 may be embodied as a mounting portion (eg, a band) capable of fixing the frame to the user's head.
  • the electronic device 100 may include one or more sensor modules 131 and 132 disposed on at least one of the legs 111 and 112 and/or the frame 110.
  • the display 120 may be implemented as one or more display and/or lens parts 121 and 122 to perform a display and/or lens function according to an operation mode.
  • the display and/or the lenses 121 and 122 may be integrated into one device that performs various functions or may be implemented as two or more detachable devices.
  • the electronic device 100 may provide at least one of a see-through providing augmented reality (AR) or a see-closed function providing a virtual reality (VR).
  • AR augmented reality
  • VR virtual reality
  • the see-through function uses visual or various sensory means to convey the object or the virtual object or object to the user, for example, while delivering the object(s) from the outside through the display 120 to the user's eyes. It can be defined as a function provided. According to the see-through function, it is possible to provide the user with additional information and/or images on objects actually seen.
  • the wearable electronic device 100 may provide additional information related to a see-through function to a user using a hologram or the like without the display 120.
  • the electronic device 100 may be designed to mount a display device that replaces the display 120.
  • the electronic device 100 may include one or two display devices respectively disposed in front of both eyes of the user.
  • the wearable electronic device 100 may provide a see-through mode using a camera mounted on the display 120 or the frame 110 (eg, sensor modules 131 and 132 ).
  • the see-through mode may display image data obtained from the cameras 131 and 132 through two screens formed by the display 120. Through this, the user can experience the external virtual environment and check the surrounding environment through the images of the cameras 131 and 132 as needed.
  • the electronic device 100 may provide a mixed reality (MR) (or hybrid reality).
  • the mixed reality (MR) may include an environment in which a virtual object (VR) is grafted to the real world and a physical object and a virtual object can interact.
  • Mixed reality (MR) may include the meanings of augmented reality (AR) for adding virtual information based on reality and augmented virtuality (AV) for adding reality information to a virtual environment.
  • AR augmented reality
  • AR augmented reality
  • AV augmented virtuality
  • mixed reality by providing a smart environment where reality and virtual are naturally connected, users can have a rich experience, for example, interacting with a virtual pet placed in the palm of the user, or building a virtual game environment in the room of reality. You can play the game.
  • the above-described head-mountable wearable electronic device 100 may be referred to as a head-mounted device (eg, a head-mounted device (HMD) or a head-mounted theater (HMT)). According to some embodiments, the wearable electronic device 100 may be defined as an electronic device excluding the display 120.
  • a head-mounted device eg, a head-mounted device (HMD) or a head-mounted theater (HMT)
  • the wearable electronic device 100 may be defined as an electronic device excluding the display 120.
  • the wearable electronic device 100 may be designed to mount one or more components included in a display device, such as a smart phone, on the frame 110, whereby the detachable display device and related structures are Can be omitted.
  • a display device such as a smart phone
  • a wearable electronic device designed to mount a display device that replaces the display 120 is wired or wirelessly connected to an external electronic device and outputs content provided from the external electronic device through an output device such as a display.
  • the user input generated from the input device may be transmitted to an external electronic device.
  • FIG. 2 is a block diagram of a head-mounted electronic device according to various embodiments of the present disclosure.
  • the head-mounted device 200 includes a processor 210, a memory 220, a communication module 230, a sensor module 240, and an input device 250, power management module 260, eye tracker 270, vibrator 280, adjustable optics 290 (or lens assembly) or battery 201 ).
  • other components eg, display
  • some of the components illustrated in the block diagram may be included in a frame (eg, 110 in FIG. 1) or may be included in a display (eg, 120 in FIG. 1 ).
  • the processor 210 includes, for example, a microcontroller unit (MCU) and controls a plurality of hardware components connected to the processor 210 by driving an operating system (OS) or an embedded software program. can do.
  • MCU microcontroller unit
  • OS operating system
  • embedded software program can do.
  • the memory 220 may store various data used by at least one component of the head-mounted device 200 (eg, the processor 210 or the sensor module 240).
  • the data may include, for example, input data or output data for software (eg, programs and instructions related thereto).
  • the memory 220 may include volatile memory or nonvolatile memory.
  • the communication module 230 may electrically transmit and receive data by electrically connecting a frame (eg, 110 in FIG. 1) and a display (eg, 120 in FIG. 1) using wired communication and/or wireless communication.
  • the communication module 220 is a universal serial bus (USB) module 231, a WiFi (wireless fidelity) module 232, a BT (bluetooth) module 233, a NFC (near field communication) module ( 234) or a global positioning system (GPS) module 235.
  • USB universal serial bus
  • WiFi wireless fidelity
  • BT bluetooth
  • NFC near field communication
  • GPS global positioning system
  • at least some of the WiFi module 232, the BT module 233, the GPS module 235, or the NFC module 234 may be included in one integrated chip (IC) or IC package.
  • the sensor module 240 may measure a physical quantity or detect an operating state of the head-mounted device 200 to convert the measured or detected information into an electrical signal.
  • the sensor module 240 includes, for example, an acceleration sensor 241, a gyro sensor 242, a magnetic field sensor 243, a magnetic sensor 244, a proximity sensor 245, a gesture sensor 246, a grip sensor 247, a biosensor 248 or a pressure sensor 248.
  • whether the head-mounted device 200 is worn using at least one sensor (eg, a proximity sensor 245, a grip sensor 247, or a pressure sensor 248) of the sensor module 240 Can detect.
  • the head-mounted device 200 is worn using at least one sensor (eg, an acceleration sensor 241, a gyro sensor 242, and a geomagnetic sensor 243) of the sensor module 230 You can sense the movement of your head.
  • at least a portion of the sensor module 240 may be included in a display device such as a smart phone that is detachably attached to the head-mounted device 200.
  • the IR (infrared ray) recognition, pressure recognition, and capacitance (or dielectric constant) change according to a user's wear may be detected to detect whether or not the user wears the same.
  • the gesture sensor 246 is an input operation of the head-mounted device 200 and may detect the movement of the user's hand or finger.
  • the sensor module 240 is a biological sensor (or an e-nose sensor), an EMG sensor (electromyography sensor), an EEG sensor (electromyography sensor), an ECG sensor (electrocardiogram sensor), an iris sensor, or the like , Biometric sensor) 248 may be used to recognize biometric information of a user.
  • the sensor module 240 may further include at least one control circuit for controlling at least one sensor included therein.
  • the pressure sensor 249 may be provided in a plurality of different arrangements, for example, may include a plurality of pressure sensors.
  • the processor 210 obtains pressure values through the plurality of pressure sensors and head-mounted the head based on the detected pressure values.
  • the arrangement state (or contact state) of the device 200 may be determined, and other components (eg, the power management module 260) may be controlled based on the determined state.
  • the input device 250 may include a touch pad or button.
  • the touch pad may recognize a touch input in at least one of capacitive, pressure-sensitive, infrared, or ultrasonic methods.
  • the touch pad may further include a control circuit.
  • the capacitive touch pad can recognize physical contact or proximity.
  • the touch pad may further include a tactile layer or provide a tactile reaction to the user.
  • the button may include, for example, a physical button, an optical key or a keypad.
  • the gaze tracking module 270 may track a user's gaze using, for example, at least one of EOG sensor (electro-oculography), coil system, dual Purkinje system, bright pupil systems, or dark pupil systems. . According to various embodiments, the gaze tracking module 270 may further include a micro camera for gaze tracking.
  • the focus adjustment module 280 measures the distance between the eyes of the user (IPD (inter-pupil distance)) so that the user can enjoy an image suitable for his/her eyesight, and the lens distance and a display device (eg, 120 in FIG. 1) ) Can adjust the display position.
  • IPD inter-pupil distance
  • the power management module 260 may manage power supplied to the head-mounted device 200.
  • the power management module 260 may be implemented, for example, as at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 290 can supply power to at least one component of the head-mounted device 200.
  • the battery 290 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the electronic device 301 may be the display 120 of FIG. 1 or 2. According to various embodiments, the electronic device 301 may be the head-mounted device 100 or 200 of FIG. 1 or 2.
  • FIG. 3 is a block diagram of an electronic device 301 in a network environment 300 according to various embodiments.
  • the electronic device 301 communicates with the electronic device 302 through a first network 398 (eg, a short-range wireless communication network), or a second network 399.
  • the electronic device 304 or the server 308 may be communicated through (eg, a remote wireless communication network).
  • the electronic device 301 may communicate with the electronic device 304 through the server 308.
  • the electronic device 301 includes a processor 320, a memory 330, an input device 350, an audio output device 355, a display device 360, an audio module 370, a sensor module ( 376), interface 377, haptic module 379, camera module 380, power management module 388, battery 389, communication module 390, subscriber identification module 396, or antenna module 397 ).
  • the components for example, the display device 360 or the camera module 380
  • the sensor module 376 may be implemented while embedded in the display device 360 (eg, a display).
  • the processor 320 for example, executes software (eg, the program 340) to execute at least one other component (eg, hardware or software component) of the electronic device 301 connected to the processor 320. It can be controlled and can perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 320 may receive instructions or data received from other components (eg, sensor module 376 or communication module 390) in volatile memory 332. Loaded into, process instructions or data stored in volatile memory 332, and store result data in non-volatile memory 334.
  • software eg, the program 340
  • the processor 320 may receive instructions or data received from other components (eg, sensor module 376 or communication module 390) in volatile memory 332. Loaded into, process instructions or data stored in volatile memory 332, and store result data in non-volatile memory 334.
  • the processor 320 includes a main processor 321 (eg, a central processing unit or an application processor), and an auxiliary processor 323 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, the coprocessor 323 may be set to use less power than the main processor 321, or to be specialized for a specified function. The coprocessor 323 may be implemented separately from, or as part of, the main processor 321.
  • a main processor 321 eg, a central processing unit or an application processor
  • auxiliary processor 323 eg, a graphics processing unit, an image signal processor
  • the coprocessor 323 may be set to use less power than the main processor 321, or to be specialized for a specified function.
  • the coprocessor 323 may be implemented separately from, or as part of, the main processor 321.
  • the coprocessor 323 is, for example, on behalf of the main processor 321 while the main processor 321 is in an inactive (eg, sleep) state, or the main processor 321 is active (eg, executing an application) ) With the main processor 321, at least one of the components of the electronic device 301 (eg, the display device 360, the sensor module 376, or the communication module 390) It can control at least some of the functions or states associated with.
  • the coprocessor 323 eg, image signal processor or communication processor
  • may be implemented as part of other functionally relevant components eg, camera module 380 or communication module 390). have.
  • the memory 330 may store various data used by at least one component of the electronic device 301 (eg, the processor 320 or the sensor module 376).
  • the data may include, for example, software (eg, the program 340) and input data or output data for commands related thereto.
  • the memory 330 may include a volatile memory 332 or a non-volatile memory 334.
  • the program 340 may be stored as software in the memory 330, and may include, for example, an operating system 342, middleware 344, or an application 346.
  • the input device 350 may receive commands or data to be used for components (eg, the processor 320) of the electronic device 301 from the outside (eg, a user) of the electronic device 301.
  • the input device 350 may include, for example, a microphone, mouse, keyboard, or digital pen (eg, a stylus pen).
  • the sound output device 355 may output sound signals to the outside of the electronic device 301.
  • the audio output device 355 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from, or as part of, the speaker.
  • the display device 360 may visually provide information to the outside of the electronic device 301 (eg, a user).
  • the display device 360 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 360 may include a touch circuitry configured to sense a touch, or a sensor circuitry configured to measure the strength of the force generated by the touch (eg, a pressure sensor). have.
  • the audio module 370 may convert sound into an electrical signal, or vice versa. According to an embodiment, the audio module 370 acquires sound through the input device 350, or an external electronic device (eg, directly or wirelessly connected to the sound output device 355 or the electronic device 301) Sound may be output through the electronic device 302 (eg, a speaker or headphones).
  • an external electronic device eg, directly or wirelessly connected to the sound output device 355 or the electronic device 301
  • Sound may be output through the electronic device 302 (eg, a speaker or headphones).
  • the sensor module 376 detects an operating state (eg, power or temperature) of the electronic device 301, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state can do.
  • the sensor module 376 includes, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 377 may support one or more designated protocols that the electronic device 301 can be used to connect directly or wirelessly with an external electronic device (eg, the electronic device 302).
  • the interface 377 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 378 may include a connector through which the electronic device 301 can be physically connected to an external electronic device (eg, the electronic device 302 ).
  • the connection terminal 378 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 379 may convert electrical signals into mechanical stimuli (eg, vibration or movement) or electrical stimuli that the user can perceive through tactile or motor sensations.
  • the haptic module 379 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 380 may capture still images and videos. According to one embodiment, the camera module 380 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 388 may manage power supplied to the electronic device 301. According to one embodiment, the power management module 388 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 389 may supply power to at least one component of the electronic device 301.
  • the battery 389 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 390 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 301 and an external electronic device (eg, the electronic device 302, the electronic device 304, or the server 308). It can support establishing and performing communication through the established communication channel.
  • the communication module 390 operates independently of the processor 320 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 390 includes a wireless communication module 392 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 394 (eg : Local area network (LAN) communication module, or power line communication module.
  • the corresponding communication module among these communication modules is a first network 398 (for example, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) or a second network 399 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (eg, a telecommunication network, such as a LAN or WAN).
  • a wireless communication module 392 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 394 eg : Local area network (LAN) communication module, or power
  • the wireless communication module 392 uses a subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 396 within a communication network such as the first network 398 or the second network 399.
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 301 may be identified and authenticated.
  • the antenna module 397 may transmit a signal or power to the outside (eg, an external electronic device) or receive it from the outside.
  • the antenna module may include a single antenna including a conductor formed on a substrate (eg, a PCB) or a radiator made of a conductive pattern.
  • the antenna module 397 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network, such as the first network 398 or the second network 399, is transmitted from the plurality of antennas by, for example, the communication module 390. Can be selected.
  • the signal or power may be transmitted or received between the communication module 390 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 397.
  • peripheral devices for example, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 301 and the external electronic device 304 through the server 308 connected to the second network 399.
  • Each of the electronic devices 302 and 304 may be the same or a different type of device from the electronic device 301.
  • all or some of the operations performed on the electronic device 301 may be performed on one or more external devices of the external electronic devices 302, 304, or 308.
  • the electronic device 301 executes the function or service itself.
  • one or more external electronic devices may be requested to perform at least a portion of the function or the service.
  • the one or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and deliver the result of the execution to the electronic device 301.
  • the electronic device 301 may process the result, as it is or additionally, and provide it as at least part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology can be used, for example.
  • the electronic device (eg, the electronic device 100 of FIG. 1, the electronic device 200 of FIG. 2, or the electronic device 301 of FIG. 3) is a display (eg, the display 120 of FIG. 1) Alternatively, the display device 360 of FIG. 3, a camera module (eg, the cameras 131 and 132 of FIG. 1 or the camera module 380 of FIG. 3) and at least one processor (eg, the processor 210 of FIG. 2) Or the processor 320 of FIG. 3.
  • a display eg, the display 120 of FIG. 1
  • the display device 360 of FIG. 3 eg, the display device 360 of FIG. 3, a camera module (eg, the cameras 131 and 132 of FIG. 1 or the camera module 380 of FIG. 3) and at least one processor (eg, the processor 210 of FIG. 2) Or the processor 320 of FIG. 3.
  • the at least one processor 210 or 320 displays one or more real objects and one or more virtual objects through the display 120 or 360 and receives a first input for selecting any one of the objects. After receiving a second input for the selected object, and receiving a third input for grouping the selected objects by repetition of the first input and the second input, information about the grouped objects is received. When analyzing, and receiving a fourth input to the grouped objects, it may be set to provide a function to be extracted based on the information analysis of the grouped objects.
  • the second input may be received while the first input is maintained.
  • the second input may be received in response to a series of input operations.
  • the second input corresponds to operations including a first operation moving to a specific area while the first input is maintained and a second operation performed on any one object in a specific area. Can be received.
  • At least one of the first to fourth inputs may be received through the camera module.
  • the first input may be received in response to a first operation of two or more fingers of a user's hand.
  • the second input may include an operation in which the one hand of the user moves to an area specified by the third operation of the other hand of the user and the finger of the one hand inside the specific area. It may be received in response to the second operation.
  • the processor 210 or 320 may cancel selection of a corresponding object in response to the second operation of the finger of the one hand outside the specific area.
  • the processor 210 or 320 may cancel selection of the grouped objects when a fifth input corresponding to the fourth operation of the other hand is received before the fourth input is received. have.
  • the processor 210 or 320 may release the grouping and set at least one of the grouped objects to be selectable.
  • FIG. 4 is a flowchart illustrating an example of an operation of an electronic device according to various embodiments.
  • a processor of an electronic device eg, the electronic device 100 of FIG. 1, the electronic device 200 of FIG. 2, or the electronic device 301 of FIG. 3 (eg, the processor 210 of FIG. 2)
  • the processor 320 of FIG. 3 may receive a first input to the object in operation 401.
  • the object may include, for example, a real object or a virtual object in the AR environment. Regardless of the term, the object may include an object embodying a function, such as an icon representing an app or function.
  • the first input may include, for example, an operation of bringing the thumb and the index finger (or a plurality of fingers excluding the thumb) within a predetermined range of the object and picking the object.
  • the first input may include, for example, an operation of checking (V) a shape of an object using one or more fingers, for example, in a V shape.
  • the first input may include, for example, an operation of touching or tapping an object with a hand including a finger.
  • the processor 210 or 320 may receive an object as a target of the first input received in operation 401 and a second input for a specific area.
  • the second input may be, for example, an input that associates the target object with a specific area.
  • the second input may include, for example, a series of input operations including an input according to an operation in which a user designates a specific region and an operation according to an operation of associating a target object with respect to the specific region.
  • the specific area may be, for example, an area specified by a user through a designated operation.
  • the specific area may be, for example, an area that is set to a specified range at a specific location according to a user's voice command.
  • the specific area can be visualized and displayed in the form of, for example, a palm, a tray, or a cart.
  • a specific area is created immediately as the user executes a selection mode by voice, action, or menu, for example, to select and group objects, or by performing an operation of tapping, touching, or checking an object under the selection mode.
  • the operation of associating the selected object with a specific area maintains an operation of picking the object using, for example, a thumb and index finger (or multiple fingers except for the thumb), and moving the specific object to put the selected object down ( For example, a gesture of spreading a finger).
  • the operation of associating the selected object with a specific area may include, for example, tapping, touching, or checking a specific object, followed by tapping, touching, or checking the specific area.
  • the operation of associating the selected object with a specific region may include, for example, a tap, touch, or checking operation on the object after creating the specific region.
  • Operations 401 and 403 may be performed repeatedly, and accordingly, a plurality of objects may be selected and specified.
  • the processor 210 or 320 may receive a third input for the specified objects in operation 405.
  • the processor 210 or 320 may group specified objects according to the third input.
  • the third input may include, for example, a gesture of grabbing a fist or gripping a palm.
  • the third input may include, for example, a voice command instructing grouping or completion.
  • the third input may include, for example, a tap operation (eg, a double tap) of one or more times for a specific region or a touch maintenance operation (eg, a long press) of a predetermined time or longer.
  • operations 401 and 403 may be repeatedly performed until a third input is received, and a plurality of objects may be further selected and specified.
  • the processor 210 or 320 may check information about specified objects. If the specified object is a virtual object, information on the virtual object may be checked.
  • an image of the real object may be a server (eg, the server 308 of FIG. 3) or an external electronic device (eg : It may transmit to the electronic device (302 or 304) of Figure 3 and receive information about the image. Operation 407 may be omitted or integrated into operation 411 described below.
  • the processor 210 or 320 may receive the fourth input for the specified objects.
  • the fourth input may be, for example, a reverse operation of the third input or a repetition of the same operation.
  • the fourth input may be, for example, an operation of opening a fist.
  • the fourth input may include, for example, an operation of tapping a specific area multiple times (eg, a double tap) or an operation of maintaining a touch for a predetermined time or more (eg, a long press) or issuing a viewing command by voice.
  • the fourth input may include, for example, a gesture such as attaching an object, such as a tray or cart, representing a specific area, to a designated area, such as an edge of a floor, wall, or screen.
  • the processor 210 or 320 may check the information of the grouped objects in operation 411.
  • the processor 210 or 320 may display images and/or information of grouped objects.
  • the processor 210 or 320 may analyze information of grouped objects, and extract common information or inferred information from the information of grouped objects.
  • the processor 210 or 320 may cause the electronic device 100, 200, or 301 to perform a designated function based on the grouped object information.
  • the processor 210 or 320 may extract a list of functions corresponding to common information or inferred information among information of grouped objects. If there are multiple corresponding functions, the processor 210 or 320 may perform the functions in the order of the functions most frequently performed on the corresponding objects in the electronic device 100, 200, or 301, or generally the most frequently performed functions. It can be presented in order or according to a user setting order. When one function is extracted, the processor 210 or 320 may perform the function immediately or according to a user's selection. When a plurality of functions are extracted, the processor 210 or 320 may display a list of extracted functions for user selection according to a specified order, or recommend one or more of a plurality of functions to be selected by the user.
  • a file sharing function such as a contact, a schedule, or a picture taken together may be presented.
  • a product or an object is grouped together with a person
  • an exercise device for example, an exercise method recommendation, or a virtual fitting function may be recommended when the product is clothing, shoes, or a bag.
  • a function for leaving a visit record at a specific place may be recommended.
  • virtual objects such as an image, an app, or a virtual object are selected along with the person, the selected virtual object and the person are synthesized or searched for an image containing the person, the app function is executed on the person, scheduling on the calendar, virtual You can recommend features such as creating a composite image with your character.
  • a function of comparing the products or an electronic payment function may be recommended.
  • virtual objects such as images, apps, and buttons are grouped together with products or objects
  • the AR environment is changed by compositing products and images or movies to be utilized as AR widgets or by applying the functions provided by buttons to the products. I can do it.
  • a function for confirming a moving line may be recommended.
  • a function for controlling devices may be recommended. For example, if a device is grouped with a virtual object such as an image, app, or button, the ability to play that image on that device, control device usage scheduling, time settings, and display that image as a virtual image on that device. Function, or various device control functions may be recommended.
  • buttons and buttons when an image is grouped with other images, apps, virtual objects, or buttons, foldering, simultaneous playback of multiple contents in multiple windows, content linking, compositing or editing functions, and slide show functions may be recommended.
  • apps, virtual objects, or buttons, foldering, simultaneous playback of multiple contents in multiple windows, content linking, compositing or editing functions, and slide show functions may be recommended.
  • a function for changing scale, position, and color may be recommended to a virtual object.
  • a function to control lighting or temperature in the room may be recommended.
  • buttons and buttons are grouped, an individualized multi-function control remote control may be recommended.
  • the processor 210 or 320 may release the specialization for the objects.
  • the processor 210 or 320 may delete object information temporarily stored for selected objects.
  • the fifth input may be, for example, an operation of flipping an open palm to the floor.
  • the processor 210 or 320 may display a shape in which objects that are selected and stored in a specific area are turned upside down and fall down, as the palm flipping operation is received.
  • a user may select at least some or a specific area of a voice command or displayed object for editing or adding even after the specified objects are grouped according to the reception of the fourth input for the specified objects. For example, it is possible to enter the edit mode by selecting by pressing and holding a touch for a predetermined time or longer, and at least some of the selected objects can be removed from the group or another object is added to the group.
  • 5A to 5C are diagrams illustrating an example of an object pickup operation of an electronic device according to various embodiments of the present disclosure.
  • a processor eg, the processor 210 of FIG. 2 of an electronic device (eg, the electronic device 100 of FIG. 1, the electronic device 200 of FIG. 2, or the electronic device 301 of FIG. 3)
  • the processor 320 of FIG. 3 checks, for example, the shape of the finger of the user's hand 501 and recognizes the state where the thumb 502 and the index finger 503 are apart as a waiting state for object pick.
  • the user's thumb 502 and/or index finger 503 or an object positioned within a predetermined range therefrom may be determined as an object at a selected position.
  • the processor 210 or 320 approaches the object 510 when the thumb 502 and the index finger 503 of the user's hand 501 are approached within a predetermined distance range of the object 510 For example, you can highlight and wait for a selection action to pick the object.
  • the processor 210 or 320 selects the corresponding object 510 waiting to be selected. It can be determined that the input has been received.
  • FIG. 6 is a flowchart illustrating an example of an object selection operation of the electronic device according to various embodiments of the present disclosure.
  • a processor of an electronic device for example, the electronic device 100 of FIG. 1, the electronic device 200 of FIG. 2, or the electronic device 301 of FIG. 3, (for example, the processor 210 of FIG. 2 or the processor of FIG. 3) 320)), for example, in operation 401 of FIG. 4, when it is determined that a specific object is selected according to reception of the first input, information of the object selected in operation 601 is checked.
  • the object information may include image information for rendering a 3D disguise object and properties and text information including the name, type, and characteristics of the object.
  • object information may not exist in the electronic device 100, 200, or 301.
  • the processor 210 or 320 determines in operation 603 whether the selected object is a virtual object, and if not, obtains an object image of the real object in operation 605.
  • the processor 210 or 320 is a camera (eg, the camera 131, 132 of FIG. 1 or the image acquired by the camera module 380 of FIG. 3), for example, a predetermined range from the position of the user's hand or finger
  • the processor 210 or 320 calculates the position of the user's hand or finger in the image including the objects obtained by the camera module 380, and focuses on the calculated position.
  • a region of a predetermined range may be captured and obtained as an object image.
  • the processor 210 or 320 may extract characteristics of an object from the acquired object image to obtain a memory (eg, the memory 220 of FIG. 2 or the memory of FIG. 3) 330)).
  • the processor 210 or 320 may transmit the acquired object image to, for example, a server (eg, the server 308 of FIG. 3), and in operation 609, related information on the transmitted image It can be received from the server 308. If the selected object is a virtual object, in operation 611, the processor 210 or 320 may check the information of the virtual object from the memory 220 or 330.
  • a server eg, the server 308 of FIG. 3
  • the processor 210 or 320 may determine that an object holding operation is input as the second input is received in operation 403 of FIG. 4, and may temporarily store the received or confirmed object related information as a list.
  • FIGS. 7A to 7C are diagrams illustrating an example of an object holding operation of an electronic device according to various embodiments.
  • the processor 210 or 320 may set an area of a predetermined range from the user's hand 705 to a specific area 707.
  • the processor 210 or 320 may display the specific area 707 that is set by changing colors or replacing it with a tray or cart shape.
  • a specific area 707 set according to the direction of the user's hand 705 may change.
  • the object may be additionally selected while the user's hand 705 is maintained.
  • the set region 707 may be fixed until the object grouping command or the object selection completion command is received.
  • a user's hand 705 for setting a specific area 707 and a user's hand 701 for selecting an object 710 may be different hands.
  • the user picks up with the thumb 702 and index finger 3 of the other hand 701 and moves to the specific region 707 and drags the object 710 within the range of the specific region 707 for the dragged object 710 And the index finger 703 to be associated with a specific area 707.
  • the processor 210 or 320 may open the thumb 702 and the index finger 703 of the user's hand 701 to display the shape of the object 710 inside the specific area 707, thereby displaying the object. It can be indicated that 710 is separately waiting for grouping within a specific area 707.
  • FIG. 8 is a flowchart illustrating an example of an object storing operation of an electronic device according to various embodiments of the present disclosure.
  • a processor eg, the processor 210 of FIG. 2 of an electronic device (eg, the electronic device 100 of FIG. 1, the electronic device 200 of FIG. 2, or the electronic device 301 of FIG. 3)
  • the processor 320 of FIG. 3 may confirm that a specific object is selected according to the reception of the first input in operation 401 of FIG. 4, for example.
  • the processor 210 or 320 may determine whether the first input is maintained in operation 801. Subsequently, in operation 803, the processor 210 or 320 may receive the second input according to operation 403 of FIG. 4, while the first input is maintained. In operation 805, the processor 210 or 320 may determine whether a location where the received second input occurs after the first input is maintained is within a specific area.
  • the processor 210 or 320 may add the selected object to the list as a grouping target in operation 807 if the location where the second input occurs is within a specific area. On the other hand, if the location where the second input occurs is not inside a specific area, in operation 809, the processor 210 or 320 may cancel selection of the corresponding object. Therefore, the user can simply cancel the selection of the object by generating a second input outside the specific area for the object selected according to the first input.
  • 9A to 9C are diagrams illustrating an example of an object grouping and verification operation of an electronic device according to various embodiments.
  • a user may input a command to hold or hold selected objects within a specific area by maintaining the operation A of opening the palm of the hand 905 recognized as a tray. have.
  • a user holds or holds in a specific area by performing a pinching or fisting operation (B) by changing the palm of the hand 905 recognized as a tray from the unfolded state (A).
  • a grouping command can be input for objects waiting to be grouped, and thus grouping for a plurality of objects can be completed.
  • the user changes the state from the fist (B) operation of the hand 905 in FIG. 9B to perform the operation (C) of opening the palm of the hand (905) and opening the palm of the hand (905). By doing so, you can enter a command to view grouped objects.
  • 10A and 10B are diagrams illustrating an example of an object selection cancel operation of an electronic device according to various embodiments of the present disclosure.
  • the user may deselect all of the selected objects by performing an operation (A) of flipping the palm surface downward from the palm of the hand 905 recognized as a tray.
  • the user flips the palm face downward in the state of opening the palm (eg, operation (C) of FIG. 9C) to input a command to check the grouped objects in the grouping is completed (A)
  • By holding for more than a predetermined time it is possible to ungroup and deselect all selected objects.
  • a user 1002 holds the object 1011 held in the tray area or a specific area 1007 while the palm of the hand 905 recognized as the tray is unfolded, the thumb 1002 of the other hand 1001 ) And the index finger 1003 are brought close to each other to select by performing a pinching motion, and in this state, the thumb 1002 and the index finger 1003 are opened outside the specific area 1007 and the corresponding object 1011 is dropped.
  • a knock-down operation it is possible to selectively deselect some of the selected and retained grouping target objects.
  • 11 is a flowchart illustrating an example of an operation of canceling object selection or adding an object selection of an electronic device according to various embodiments of the present disclosure.
  • a processor eg, the processor 210 of FIG. 2 of an electronic device (eg, the electronic device 100 of FIG. 1, the electronic device 200 of FIG. 2, or the electronic device 301 of FIG. 3)
  • the processor 320 of FIG. 3 may execute an edit mode even after grouping is completed by inputting a grouping command, so that the selected object is deselected or an additional object is selected.
  • operation 411 of FIG. 4 checks information about the grouped objects (viewing). This can be done.
  • the processor 210 or 320 may display information about the grouped objects to check the grouped objects.
  • the user checks information on the grouped objects, enters a voice command for editing or add, or holds a touch for at least some time on at least some of the viewed objects (long press)
  • the user may enter the edit mode by long-pressing a tray area or a specific area for a predetermined time or longer.
  • the processor 210 or 320 may proceed to the edit mode and delete a specific object from the grouping list or add it as a grouping list according to a user input.
  • the processor 210 or 320 determines whether the editing mode is terminated or a grouping command is received, so that grouping is completed.
  • the processor 210 or 320 may perform a designated function based on the grouped object information in operation 1109.
  • the processor 210 or 320 may present a recommended function so that the user can select it.
  • FIG. 12 is a flowchart illustrating an example of an operation for performing a function based on grouped objects.
  • the processor may analyze information of objects grouped in operation 1201. Accordingly, the processor 210 or 320 may extract common information or inferred information from information of grouped objects.
  • the processor 210 or 320 is an electronic device (eg, the electronic device 100 of FIG. 1, the electronic device 200 of FIG. 2, or the electronic device 301 of FIG. 3) based on the information of the grouped objects. ) To check if there is a designated function to perform.
  • the processor 210 or 320 may perform the designated function in operation 1205 immediately or by user selection.
  • the processor 210 or 320 may perform the functions in the order of the functions most frequently performed on the corresponding objects or generally the most. It can be selected by the user by displaying and presenting in the order of the functions to be performed or in the order of user setting.
  • the processor 210 or 320 may perform the function immediately or according to a user's selection.
  • the processor 210 or 320 may display a list of a plurality of executable functions in operation 1207 to specify a function to be performed by the user.
  • the processor 210 or 320 checks whether the user designates a function to be performed among the suggested functions in operation 1209, and when the performance function is specified, returns to operation 1205 to perform the designated function.
  • the processor 210 or 320 may create a folder in operation 1211 and store the grouping objects in the folder. Also, the processor 210 or 320 may display the corresponding folder as an unexecuted folder or a pending folder.
  • FIGS. 13A to 13H are diagrams illustrating an example of performing a function based on grouped objects by selecting and grouping a plurality of objects in an electronic device according to various embodiments.
  • a user selects a real object 1311 from among virtual objects or real objects presented through a display (eg, the display 120 of FIG. 1 or the display device 360 of FIG. 3 ).
  • the first input may be performed by bringing the hand 1301 within a predetermined range of the real object 1311 and performing a pick operation using the thumb and index finger.
  • the first input for the selection of the reality object 1311 is, for example, by using one or more fingers to draw the object 1311 in the form of, for example, a V-shaped (checking) operation, by hand It may include an operation of touching or tapping the object 1311.
  • a user may perform an operation for a second input that associates the object 1311 with a specific region 1311 while maintaining the first input for selecting the object 1311.
  • the second input for associating the object 1311 with the specific area 1311 is selected in a specific area within a predetermined range, for example, the left hand area 1305, from the palm specified by the user opening the palm of the left hand 1305, for example.
  • the object 1311 may include a series of input operations for moving the right hand 1301 down.
  • the specific area can be visualized and displayed in a shape and color, such as a circular or oval, a tray or a cart, around the palm, for example.
  • the second input operation for associating the selected object 1311 with the left hand region 1305 is, for example, tapping, touching, or checking the corresponding object 1311 followed by tapping, touching, or checking the left hand region 1305. It may include more than one action.
  • the user maintains the left hand 1305 in an unfolded state, and uses the right hand 1301 to select the icon 1312 of the electronic payment app among a number of applications and moves to the area of the left hand 1305.
  • the electronic payment app 1312 can be further selected as a grouping target by putting it inside the area.
  • the region of the left hand 1305 may include a milk 1311 as a real object and an electronic payment app 1312 as a virtual object.
  • the user may perform an operation for the third input by grouping the selected objects 1311 and 1312 or performing a clenching fist with the left hand 1305, for example, to complete the selection.
  • the third input may include, for example, two or more tapping operations (eg, double tap) on the left hand region 1305 (eg, a double tap) or a touch holding operation for a predetermined time (eg, long press) in addition to an operation of gripping or gripping the palm of the hand ).
  • the processor may check and analyze information about specified objects. If the specified object is a virtual object, information on the virtual object may be checked.
  • an image of the real object may be a server (eg, the server 308 of FIG. 3) or an external electronic device (eg : It may transmit to the electronic device (302 or 304) of Figure 3 and receive information about the image.
  • the processor 210 or 320 may extract a list of functions corresponding to common information or inferred information among the information of the grouped objects 1311 and 1312.
  • the processor 210 or 320 may provide, for example, a function for electronically recognizing milk 1311 through information analysis of the milk 1311 and the electronic payment app 1312.
  • the user may perform an operation of opening the palm of the left hand 1305, for example, as a fourth input for viewing the grouped objects 1311 and 1312.
  • the fourth input may include, for example, an operation of tapping the region of the left hand 1305 multiple times (eg, a double tap) or an operation of maintaining a touch for a predetermined time or longer (eg, a long press) or a voice viewing command.
  • the fourth input may include, for example, a gesture such as attaching an object such as a tray or cart representing a specific area to a designated area such as an edge of a floor, wall or screen.
  • the processor 210 or 320 In response to receiving the fourth input, the processor 210 or 320 displays an image and/or information of the grouped objects or provides a function designated by the electronic device 100, 200, or 301 based on the information of the grouped objects can do.
  • the processor 210 or 320 may provide a function 1320 for electronically determining milk that can be inferred through language completion from information (milk and electronic payment) of grouped objects.
  • the processor 210 or 320 may display an object 1321 indicating a function for determining milk, and the user may select the milk payment function 1321 using, for example, the hand 1305. Can.
  • the processor 210 or 320 may execute the milk payment function and display 1322 an execution result.
  • 14A to 14D are diagrams for explaining another example of performing functions based on grouped objects by selecting and grouping a plurality of objects in an electronic device according to various embodiments.
  • a user may select virtual objects including a plurality of app icons using the right hand 1401 and put them in the left hand 1405 area.
  • a plurality of selected virtual objects 1411, 1412, and 1413 may be displayed inside the left hand 1405 area.
  • the user may complete the object selection and perform grouping through a grabbing fist (grab) by closing the left hand 1405.
  • the common information among the grouped objects is an app, and there may not be a function that can be presented according to information inferred by the common information.
  • the processor 210 or 320 may create a new folder 1415 and move the grouped apps 1411, 1412, and 1413 into the folder 1415 and store them.
  • the processor 210 or 320 may allow the name of the created folder to be specified or may be displayed as a temporary folder for display.
  • 15A to 15D are diagrams illustrating another example of performing functions based on grouped objects by selecting and grouping a plurality of objects in an electronic device according to various embodiments.
  • a user may select a specific person from among a large number of persons using the right hand 1501 and perform an operation for storing in the left hand 1505 area.
  • Images 1511, 1512 and 1513 of a plurality of selected real objects may be displayed inside the left hand 1505 area.
  • the user can complete the object selection and perform grouping through the action A of holding the fist by closing the left hand 1505.
  • the common information between the grouped objects is a person, and a function capable of presenting according to the information inferred from the common information is designated or a function frequently used for the person may be presented.
  • the processor 210 or 320 may recommend the file sharing app function 1521.
  • the processor 210 or 320 activates and shares the file sharing app with the characters 1511, 1512 and 1513, as shown in FIG. 15D.
  • a list of files that can be performed may be displayed 1522.
  • a plurality of functions such as a video conference function and a group conversation function, may be extracted as an app for a person, in addition to a file sharing app function.
  • a plurality of functions are extracted, if there is no predetermined function, for example, it can be presented to the user in the order of frequently used functions for selection.
  • the electronic device may be various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • any (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the term “functionally” or “communically”
  • any of the above components can be connected directly to the other component (eg, by wire), wirelessly, or through a third component.
  • module may include units implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof performing one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may include one or more instructions stored in a storage medium (eg, internal memory 336 or external memory 338) readable by a machine (eg, electronic device 301). It may be implemented as software (e.g., program 340) that includes.
  • a processor eg, processor 320 of a device (eg, electronic device 301) may call and execute at least one of one or more commands stored from a storage medium. This enables the device to be operated to perform at least one function according to the at least one command called.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the storage medium readable by the device may be provided in the form of a non-transitory storage medium.
  • a signal eg, electromagnetic waves
  • a method according to various embodiments disclosed in this document may be provided as being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as products.
  • the computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or two user devices ( For example, it can be distributed directly (e.g., downloaded or uploaded) between smartphones).
  • a portion of the computer program product may be stored at least temporarily on a storage medium readable by a device such as a memory of a manufacturer's server, an application store's server, or a relay server, or may be temporarily generated.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or omitted Or, one or more other actions can be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Architecture (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예들에 따른 전자 장치(electronic device)는, 디스플레이, 카메라 모듈 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 디스플레이를 통해 하나 이상의 현실 객체와 하나 이상의 가상 객체를 디스플레이하고, 상기 객체들 중 어느 일 객체를 선택하기 위한 제1입력을 수신한 이후 상기 선택된 객체에 대한 제2입력을 수신하고, 상기 제1입력과 상기 제2입력의 반복에 의해 선택된 객체들에 대한 그룹핑을 위한 제3입력이 수신되면 상기 그룹핑된 객체들에 대한 정보를 분석하고, 상기 그룹핑된 객체들에 대한 제4입력이 수신되면 상기 그룹핑된 객체들에 대한 상기 정보 분석에 기반하여 추출되는 기능을 제공하도록 설정될 수 있다.

Description

증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
본 발명의 다양한 실시예들은 증강 현실 환경에서 복수의 객체(OBJECTS)와 상호작용하여 복수의 객체와 관련한 다양한 작업을 수행하는 전자 장치 및 그 동작 방법에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트폰(smart phone), 태블릿(tablet) PC(personal computer), 노트북(notebook), PDA(personal digital assistant), 웨어러블 장치(wearable device), 디지털 카메라(digital camera) 또는 개인용 컴퓨터(personal computer) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다.
최근에는, 전자 장치에서 통화 기능, 멀티미디어 재생 기능(예: 음악 재생, 동영상 재생), 전자결재, 금융거래 뿐만 아니라, 증강현실(AR, augmented reality) 기능에 대한 연구 개발 및 그 사용이 증가하고 있다. 증강현실은 현실의 사물(예: 실제 환경)에 가상의 관련 정보(예: 텍스트, 이미지 등)를 합성하여 보여주는 기술일 수 있다. 증강현실은, 가상의 공간과 사물만을 대상으로 하는 가상현실(VR, virtual reality)과 달리, 실제 환경이라는 객체 위에 가상의 관련 객체를 제공하여, 실제 환경만으로는 획득하기 어려운 부가 정보를 사용자에게 제공할 수 있다.
하지만, 종래의 전자 장치에서 제공하는 증강현실 기능은, 증강현실에서 제공되는 현실 객체 및 가상 객체와의 상호작용에 있어서 2D 환경에서의 상호작용 방식을 답습하고 있어 풍부한 사용자 경험을 제공하지 못하고 있다. 예를 들면, 복수의 객체들을 선택하고 이들과 관련한 기능을 수행함에 있어서 복잡한 선택 메뉴를 이용해야 함에 따라 3D 환경의 복잡도를 가중하여 객체 선택과 기능 선택을 위해 다수의 조작 과정이 필요할 수 있다. 따라서, 증강현실 환경 하에서 객체 및 기능 사용에 있어서 복잡도를 낮추고 직관성을 요구하는 사용자 니즈(needs)가 증가하고 있다.
다양한 실시 예들에서는, 증강현실에서 보다 직관적이고 간단하게 객체를 선택하는 상호작용 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 증강현실에서 보다 직관적이고 간단하게 복수의 객체를 선택하는 상호작용 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 증강현실에서 보다 직관적이고 간단하게 복수의 객체를 선택하고 이들과 관련된 기능을 수행하는 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 증강현실에서 보다 직관적이고 간단하게 복수의 객체를 선택하고 이들과 관련된 정보를 제공하는 방법 및 장치에 관하여 개시한다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따른 전자 장치(electronic device)는, 디스플레이, 카메라 모듈 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 디스플레이를 통해 하나 이상의 현실 객체와 하나 이상의 가상 객체를 디스플레이하고, 상기 객체들 중 어느 일 객체를 선택하기 위한 제1입력을 수신한 이후 상기 선택된 객체에 대한 제2입력을 수신하고, 상기 제1입력과 상기 제2입력의 반복에 의해 선택된 객체들에 대한 그룹핑을 위한 제3입력이 수신되면 상기 그룹핑된 객체들에 대한 정보를 분석하고, 상기 그룹핑된 객체들에 대한 제4입력이 수신되면 상기 그룹핑된 객체들에 대한 상기 정보 분석에 기반하여 추출되는 기능을 제공하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치의 방법은, 상기 전자 장치의 디스플레이를 통해 하나 이상의 현실 객체와 하나 이상의 가상 객체를 디스플레이하는 동작, 상기 객체들 중 어느 일 객체를 선택하기 위한 제1입력을 수신한 이후 상기 선택된 객체에 대한 제2입력을 수신하는 동작, 상기 제1입력과 상기 제2입력의 반복에 의해 선택된 객체들에 대한 그룹핑을 위한 제3입력이 수신되면 상기 그룹핑된 객체들에 대한 정보를 분석하는 동작, 상기 그룹핑된 객체들에 대한 제4입력이 수신되면 상기 그룹핑된 객체들에 대한 상기 정보 분석에 기반하여 추출되는 기능을 제공하는 동작을 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치(electronic device) 및 그의 방법은, 제1 카메라를 통해 획득되는 제1 이미지에 대한 프리뷰 이미지를 표시하는 상태에서 수신되는 사용자 입력에 기반하여 상기 전자 장치의 자세를 조정함으로써 상기 제1 카메라의 특성과 다른 특성을 가지는 제2 카메라를 통해 상기 제1 이미지의 제1 구도에 상응하는 제2 구도를 가지는 제2 이미지를 획득할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 다양한 실시예들에 따라, 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치의 사시도이다.
도 2는, 다양한 실시예들에 따라, 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치의 블럭도이다.
도 3은 다양한 실시예들에 따른 증강 현실 환경에서 다양한 기능을 수행하는, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.
도 5a 내지 5c는 다양한 실시예들에 따른 전자 장치의 객체 선택(pickup) 동작의 예를 설명하기 위한 도면이다.
도 6은 다양한 실시예들에 따른 전자 장치의 객체 선택 동작의 예를 설명하기 위한 흐름도이다.
도 7a 내지 7c는 다양한 실시예들에 따른 전자 장치의 객체 담기(holding) 동작의 예를 설명하기 위한 도면이다.
도 8은 다양한 실시예들에 따른 전자 장치의 객체 담기 동작의 예를 설명하기 위한 흐름도이다.
도 9a 내지 9c는 다양한 실시예들에 따른 전자 장치의 객체 그룹화 및 확인 동작의 예를 설명하기 위한 도면이다.
도 10a 및 10b는 다양한 실시예들에 따른 전자 장치의 객체 선택 취소 동작의 예를 설명하기 위한 도면이다.
도 11은 다양한 실시예들에 따른 전자 장치의 객체 선택 취소 또는 객체 선택 추가 동작의 예를 설명하기 위한 흐름도이다.
도 12는 그룹화된 객체에 기반한 기능을 수행하는 동작의 예를 설명하기 위한 흐름도이다.
도 13a 내지 13h는 다양한 실시예들에 따른 전자 장치에서 복수의 객체를 선택하고 그룹화하여 그룹화된 객체들에 기반한 기능을 수행하는 예를 설명하기 위한 도면이다.
도 14a내지 14d는 다양한 실시예들에 따른 전자 장치에서 복수의 객체를 선택하고 그룹화하여 그룹화된 객체들에 기반한 기능을 수행하는 다른 예를 설명하기 위한 도면이다.
도 15a 내지 15d는 다양한 실시예들에 따른 전자 장치에서 복수의 객체를 선택하고 그룹화하여 그룹화된 객체들에 기반한 기능을 수행하는 또 다른 예를 설명하기 위한 도면이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
도 1은 다양한 실시 예에 따른, 증강현실 환경에서 다양한 기능을 수행하는 전자장치(100)의 사시도이다.
도 1을 참조하면, 전자 장치(100)는, 적어도 하나 이상의 디스플레이 및/또는 렌즈(120)(이하, 디스플레이라 칭함)를 지지하고 사용자의 눈 앞에 배치하는 프레임(110)과, 프레임(110) 양쪽에 연결되어 사용자의 귀에 거는 다리들(temples)(111, 112)을 포함하는 안경(eyeglass) 형태일 수 있다. 예를 들어 전자장치(100)의 프레임(110)의 양쪽에 연결되는 다리들(111, 112)은 프레임을 사용자의 머리에 고정시킬 수 있는 장착부(예: 밴드)로 구현될 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 다리들(111, 112) 및/또는 프레임(110)의 적어도 하나 이상에 배치된 하나 이상의 센서모듈(131, 132)을 포함할 수 있다. 다양한 실시 예에 따라, 디스플레이(120)는 하나 또는 그 이상의 디스플레이 및/또는 렌즈(121, 122) 부분으로 구현되어 동작 모드에 따라 디스플레이 및/또는 렌즈 기능을 수행할 수 있다. 어떤 실시 예에 따르면, 디스플레이 및/또는 렌즈(121, 122)는 다양한 기능을 수행하는 하나의 장치로 통합되거나 둘 이상의 분리 가능한 장치들로 구현될 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 증강 현실(AR(augmented reality))을 제공하는 see-through 또는 가상 현실(VR(virtual reality))을 제공하는 see-closed 기능 중 적어도 하나를 제공할 수 있다. See-through 기능은, 예를 들면, 디스플레이(120)를 통하여 실제 외부의 사물(들)을 사용자의 눈에 전달하면서, 상기 사물 또는 가상의 대상 또는 사물을 사용자에게 시각적 또는 다양한 감각적인 수단을 사용하여 제공하는 기능으로 정의될 수 있다. See-through 기능에 의하면, 실제로 보이는 사물 등에 대한 부가적인 정보 및/또는 이미지들을 사용자에게 제공할 수 있다. 다른 실시 예에서, 웨어러블 전자 장치(100)는 디스플레이(120) 없이 홀로그램 등을 이용하여 see-through 기능 관련 부가 정보를 사용자에게 제공할 수도 있다.
See-closed 기능은 디스플레이(120)에 의해 형성된 두 개의 화면들이 사용자의 눈 앞에 각각 제공되어, 상기 두 화면들을 통하여 제공되는 컨텐츠(예: 영화, 스트리밍, 방송, 게임 등)를 사용자가 볼 수 있게 할 수 있다. 이러한 see-closed 기능은, 독립된 화면을 이용하여 사용자에게 몰입감을 제공할 수 있다. 어떤 실시 예에 따르면, 전자 장치(100)는 디스플레이(120)를 대체하는 디스플레이 장치를 탑재하는 형태로 설계될 수도 있다. 예를 들어, 전자 장치(100)는 사용자의 양쪽 눈 앞에 각각 배치되는 하나 또는 두 개의 디스플레이 장치들을 포함할 수 있다.
다양한 실시 예에 따르면, 웨어러블 전자 장치(100)는 디스플레이(120) 또는 프레임(110)에 장착된 카메라(예: 센서 모듈(131, 132))를 이용하여 see-through 모드를 제공할 수 있다. see-through 모드는 디스플레이(120)에 의해 형성된 두 개의 화면들을 통해 카메라(131, 132)로부터 획득된 이미지 데이터를 표시할 수 있다. 이를 통해 사용자는 외부 가상 환경을 체험하는 동시에 필요에 따라 주변 환경을 카메라(131, 132)의 영상을 통해 확인할 수 있다.
다양한 실시 예에 따르면, 전자 장치(100)는 혼합 현실(MR(mixed reality))(또는 혼성 현실(hybrid reality))을 제공할 수 있다. 혼합 현실(MR)은, 현실 세계에 가상 현실(VR)이 접목되어 현실의 물리적 객체와 가상 객체가 상호 작용할 수 있는 환경을 포함할 수 있다. 혼합 현실(MR)은 현실을 기반으로 가상 정보를 부가하는 증강 현실(AR)과 가상 환경에 현실 정보를 부가하는 증강 가상(AV(augmented virtuality))의 의미를 포함할 수 있다. 혼합 현실에서는 현실과 가상이 자연스럽게 연결된 스마트 환경을 제공하여 사용자는 풍부한 체험을 할 수 있고, 예를 들어, 사용자의 손바닥에 놓인 가상의 애완 동물과 교감한다거나, 현실의 방 안에 가상의 게임 환경을 구축해 게임을 할 수 있다. 또 다른 예로, 혼합 현실에서, 집안의 가구를 가상으로 재배치해 본다거나, 원격에 있는 사람들이 함께 모여 함께 작업하는 듯한 환경을 구축할 수 있다.
상기 기술된 머리 장착형 웨어러블 전자 장치(100)는 머리 장착형 장치(예: HMD(head-mounted device) 또는 HMT(head-mounted theater))라고 부를 수 있다. 어떤 실시 예에 따르면, 웨어러블 전자 장치(100)는 디스플레이(120)를 제외한 전자 장치로 정의될 수도 있다.
어떤 실시 예에 따르면, 웨어러블 전자 장치(100)는 스마트 폰과 같은 디스플레이 장치에 포함된 하나 이상의 구성 요소를 프레임(110)에 탑재하도록 설계될 수 있고, 이에 의해 착탈 가능한 디스플레이 장치 및 이와 관련된 구조는 생략될 수 있다.
다양한 실시 예에 따르면, 디스플레이(120)를 대체하는 디스플레이 장치를 탑재하도록 설계된 웨어러블 전자 장치는 외부 전자 장치와 유선 또는 무선으로 연결되어, 외부 전자 장치로부터 제공받은 컨텐츠를 디스플레이와 같은 출력 장치를 통해 출력하거나 입력 장치로부터 생성된 사용자 입력을 외부 전자 장치로 전송할 수 있다.
도 2는 다양한 실시 예에 따른 머리 장착형 전자 장치의 블록도이다.
도 2를 참조하면, 다양한 실시 예에 따른 머리 장착형 장치(200)(예: 도 1의 100)는 프로세서(210), 메모리(220), 통신 모듈(230), 센서 모듈(240), 입력 장치(250), 전력 관리 모듈(260), 시선 추적 모듈(eye tracker)(270), 바이브레이터(vibrator)(280), 초점 조절 모듈(adjustable optics)(290)(또는, 렌즈 조립체) 또는 배터리(201)를 포함할 수 있다. 도 2의 블록도에서는 다른 구성 요소들(예: 디스플레이)은 설명의 편의를 위하여 도시하지 않았다. 다른 실시 예에서는, 상기 블록도에 도시된 구성 요소들의 일부는 프레임(예: 도 1의 110) 내에 포함되거나, 또는 디스플레이(예: 도 1의 120) 내에 포함될 수 있다.
프로세서(210)는, 예를 들어, 마이크로 컨트롤러 유닛(MCU(micro controller unit))을 포함하고, 운영 체제(OS) 또는 임베디드 소프트웨어 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 구성 요소들을 제어할 수 있다.
메모리(220)는, 머리 장착형 장치(200)의 적어도 하나의 구성 요소(예: 프로세서(210) 또는 센서 모듈(240))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램 및, 이와 관련된 명령)에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(220)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
통신 모듈(230)은 프레임(예: 도 1의 110)과 디스플레이(예: 도 1의 120)을 유선 통신 및/또는 무선 통신을 이용하여 전기적으로 연결하여 데이터 송수신을 수행할 수 있다. 일 실시 예에 따르면, 통신 모듈(220)은 USB(universal serial bus) 모듈(231), WiFi(wireless fidelity) 모듈(232), BT(bluetooth) 모듈(233), NFC(near field communication) 모듈(234) 또는 GPS(global positioning system) 모듈(235) 등을 포함할 수 있다. 다양한 실시 예에 따르면, WiFi 모듈(232), BT 모듈(233), GPS 모듈(235) 또는 NFC 모듈(234) 중 적어도 일부는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
센서 모듈(240)은 물리량을 계측하거나 머리 장착형 장치(200)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 가속도 센서(241), 자이로 센서(242), 지자계 센서(243), 마그네틱 센서(244), 근접 센서(245), 제스처 센서(246), 그립 센서(247), 생체 센서(248) 또는 압력 센서(248) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 센서 모듈(240)의 적어도 하나의 센서(예: 근접 센서(245), 그립 센서(247) 또는 압력 센서(248) 등)를 이용하여 머리 장착형 장치(200)의 착용 여부를 감지할 수 있다. 일 실시 예에 따르면, 센서 모듈(230)의 적어도 하나의 센서(예: 가속도 센서(241), 자이로 센서(242), 지자계 센서(243))를 이용하여 머리 장착형 장치(200)가 착용된 머리의 움직임을 감지할 수 있다. 어떤 실시 예에서는, 센서 모듈(240)의 적어도 일부는 머리 장착형 장치(200)에 착탈 가능한 스마트 폰과 같은 디스플레이 장치에 포함될 수 있다.
일 실시 예에 따르면, 사용자 착용에 따른 IR(infrared ray) 인식, 가압 인식, 커패시턴스(또는 유전율)의 변화량 중 적어도 하나를 감지하여 사용자의 착용 여부를 감지할 수 있다. 제스처 센서(246)는, 머리 장착형 장치(200)의 입력 동작으로서, 사용자의 손 또는 손가락의 움직임을 감지할 수 있다. 어떤 실시 예에 따르면, 센서 모듈(240)은 후각 센서(e-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electromyography sensor), ECG 센서(electrocardiogram sensor), 홍채 센서 등의 생체 센서(또는, 생체 인식 센서)(248)를 이용하여 사용자의 생체 정보를 인식할 수 있다. 다양한 실시 예에 따르면, 센서 모듈(240)은 그 안에 속한 적어도 하나의 센서를 제어하기 위한 적어도 하나의 제어 회로를 더 포함할 수 있다.
일 실시 예에 따르면, 압력 센서(249)는 서로 다른 배치되는 복수 개로 제공될 수 있고, 예를 들어 복수의 압력 센서들을 포함할 수 있다. 머리 장착형 장치(200)가 머리에 장착되면 안면이 복수의 압력 센서들을 가압함에 따라, 프로세서(210)는 복수의 압력 센서들을 통해 압력 값들을 획득하여 검출된 압력 값들을 기초로 머리에 대한 머리 장착형 장치(200)의 배치 상태(또는 접촉 상태)를 결정하고 이에 기초하여 타 구성요소들(예: 전력 관리 모듈(260))을 제어할 수 있다.
입력 장치(250)는 터치 패드 또는 버튼을 포함할 수 있다. 터치 패드는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 다양한 실시 예에 따르면, 터치 패드는 제어 회로를 더 포함할 수도 있다. 정전식 터치 패드는 물리적 접촉 또는 근접 인식이 가능하다. 터치 패드는 택타일 레이어(tactile layer)를 더 포함할 수도 있고, 사용자에게 촉각 반응을 제공할 수 있다. 버튼은, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드 등을 포함할 수 있다.
시선 추적 모듈(270)은, 예를 들면, EOG 센서(electro-oculography), coil system, dual Purkinje system, bright pupil systems 또는 dark pupil systems 중 적어도 하나의 방식을 이용하여 사용자의 시선을 추적할 수 있다. 다양한 실시 예에 따르면, 시선 추적 모듈(270)은 시선 추적을 위한 마이크로 카메라를 더 포함할 수도 있다.
초점 조절 모듈(280)은 사용자가 자신의 시력에 적합한 영상을 감상할 수 있도록 사용자의 양안 사이 거리(IPD(inter-pupil distance))를 측정하여 렌즈의 거리 및 디스플레이 장치(예: 도 1의 120)의 디스플레이 위치를 조정할 수 있다.
전력 관리 모듈(260)은 머리 장착형 장치(200)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(260)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(290)는 머리 장착형 장치(200)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(290)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
도 3은, 다양한 실시 예들에 따른, 증강 현실 환경에서 다양한 기능을 수행하는, 네트워크 환경 내의 전자 장치의 블록도이다. 전자 장치(301)는 도 1 또는 2의 디스플레이(120) 일 수 있다. 다양한 실시 예에 따르면, 전자 장치(301)는 도 1 또는 2의 머리 장착형 장치(100 또는 200)일 수 있다.
도 3은, 다양한 실시예들에 따른, 네트워크 환경(300) 내의 전자 장치(301)의 블럭도이다. 도 3을 참조하면, 네트워크 환경(300)에서 전자 장치(301)는 제 1 네트워크(398)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(302)와 통신하거나, 또는 제 2 네트워크(399)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(304) 또는 서버(308)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(301)는 서버(308)를 통하여 전자 장치(304)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(301)는 프로세서(320), 메모리(330), 입력 장치(350), 음향 출력 장치(355), 표시 장치(360), 오디오 모듈(370), 센서 모듈(376), 인터페이스(377), 햅틱 모듈(379), 카메라 모듈(380), 전력 관리 모듈(388), 배터리(389), 통신 모듈(390), 가입자 식별 모듈(396), 또는 안테나 모듈(397)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(301)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(360) 또는 카메라 모듈(380))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(376)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(360)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(320)는, 예를 들면, 소프트웨어(예: 프로그램(340))를 실행하여 프로세서(320)에 연결된 전자 장치(301)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(320)는 다른 구성요소(예: 센서 모듈(376) 또는 통신 모듈(390))로부터 수신된 명령 또는 데이터를 휘발성 메모리(332)에 로드하고, 휘발성 메모리(332)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(334)에 저장할 수 있다. 일실시예에 따르면, 프로세서(320)는 메인 프로세서(321)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(323)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(323)은 메인 프로세서(321)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(323)는 메인 프로세서(321)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(323)는, 예를 들면, 메인 프로세서(321)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(321)를 대신하여, 또는 메인 프로세서(321)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(321)와 함께, 전자 장치(301)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(360), 센서 모듈(376), 또는 통신 모듈(390))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(323)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(380) 또는 통신 모듈(390))의 일부로서 구현될 수 있다.
메모리(330)는, 전자 장치(301)의 적어도 하나의 구성요소(예: 프로세서(320) 또는 센서모듈(376))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(340)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(330)는, 휘발성 메모리(332) 또는 비휘발성 메모리(334)를 포함할 수 있다.
프로그램(340)은 메모리(330)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(342), 미들 웨어(344) 또는 어플리케이션(346)을 포함할 수 있다.
입력 장치(350)는, 전자 장치(301)의 구성요소(예: 프로세서(320))에 사용될 명령 또는 데이터를 전자 장치(301)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(350)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예:스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(355)는 음향 신호를 전자 장치(301)의 외부로 출력할 수 있다. 음향 출력 장치(355)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(360)는 전자 장치(301)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(360)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(360)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(370)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(370)은, 입력 장치(350) 를 통해 소리를 획득하거나, 음향 출력 장치(355), 또는 전자 장치(301)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(302)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(376)은 전자 장치(301)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(376)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(377)는 전자 장치(301)이 외부 전자 장치(예: 전자 장치(302))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(377)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(378)는, 그를 통해서 전자 장치(301)가 외부 전자 장치(예: 전자 장치(302))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(378)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(379)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(379)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(380)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(380)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(388)은 전자 장치(301)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(389)는 전자 장치(301)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(389)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(390)은 전자 장치(301)와 외부 전자 장치(예: 전자 장치(302), 전자 장치(304), 또는 서버(308))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(390)은 프로세서(320)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(390)은 무선 통신 모듈(392)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(394)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(398)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(399)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(392)은 가입자 식별 모듈(396)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(398) 또는 제 2 네트워크(399)와 같은 통신 네트워크 내에서 전자 장치(301)를 확인 및 인증할 수 있다.
안테나 모듈(397)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(397)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(398) 또는 제 2 네트워크(399)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(390)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(390)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(397)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(399)에 연결된 서버(308)를 통해서 전자 장치(301)와 외부의 전자 장치(304)간에 송신 또는 수신될 수 있다. 전자 장치(302, 304) 각각은 전자 장치(301)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(301)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(302, 304, or 308) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(301)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(301)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(301)로 전달할 수 있다. 전자 장치(301)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
다양한 실시 예들에 따르면, 전자 장치(예: 도 1의 전자 장치(100), 도 2의 전자 장치(200) 또는 도 3의 전자 장치(301))는 디스플레이(예: 도 1의 디스플레이(120) 또는 도 3의 표시 장치(360)), 카메라 모듈(예: 도 1의 카메라(131, 132) 또는 도 3의 카메라 모듈(380)) 및 적어도 하나의 프로세서(예: 도 2의 프로세서(210) 또는 도 3의 프로세서(320))를 포함할 수 있다.
상기 적어도 하나의 프로세서(210 또는 320)는, 상기 디스플레이(120 또는 360)를 통해 하나 이상의 현실 객체와 하나 이상의 가상 객체를 디스플레이하고, 상기 객체들 중 어느 일 객체를 선택하기 위한 제1입력을 수신한 이후 상기 선택된 객체에 대한 제2입력을 수신하고, 상기 제1입력과 상기 제2입력의 반복에 의해 선택된 객체들에 대한 그룹핑을 위한 제3입력이 수신되면 상기 그룹핑된 객체들에 대한 정보를 분석하고, 상기 그룹핑된 객체들에 대한 제4입력이 수신되면 상기 그룹핑된 객체들에 대한 상기 정보 분석에 기반하여 추출되는 기능을 제공하도록 설정될 수 있다.
다양한 실시 예들에 따르면 상기 제2입력은 상기 제1입력이 유지되는 상태에서 수신될 수 있다.
다양한 실시 예들에 따르면 상기 제2 입력은 일련의 입력 동작들에 대응하여 수신될 수 있다.
다양한 실시 예들에 따르면 상기 제2입력은 상기 제1입력이 유지되는 상태에서 특정 영역으로 이동하는 제1동작 및 특정 영역에서의 상기 어느 일 객체에 대해 수행되는 제2동작을 포함하는 동작들에 대응하여 수신될 수 있다.
다양한 실시 예들에 따르면 상기 제1 내지 제4입력 중 적어도 하나는 상기 카메라 모듈을 통해 수신될 수 있다.
다양한 실시 예들에 따르면 상기 제1입력은 사용자의 한 손의 두 개 이상의 손가락의 제1동작에 대응하여 수신될 수 있다.
다양한 실시 예들에 따르면, 상기 제2입력은 상기 사용자의 상기 한 손이, 상기 사용자의 다른 손의 제3동작에 의해 특정되는 영역으로 이동하는 동작과 상기 특정 영역 내부에서의 상기 한 손의 손가락의 제2동작에 대응하여 수신될 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(210 또는 320)는, 상기 특정 영역 외부에서의 상기 한 손의 손가락의 상기 제2동작에 대응하여 해당하는 객체에 대한 선택을 취소할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(210 또는 320)는, 상기 제4입력 수신 이전에 상기 다른 손의 제4동작에 대응하는 제5입력이 수신되면 상기 그룹핑된 객체들에 대한 선택을 취소할 수 있다.
다양한 실시 예들에 따르면, 상기 프로세서(210 또는 320)는 상기 제4입력 수신 이후에 편집 모드가 입력되면 상기 그룹화를 해제하고 상기 그룹화되었던 객체 중 적어도 하나가 선택 가능하도록 설정할 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작의 예를 설명하기 위한 흐름도이다.
다양한 실시예들에 따르면 전자장치(예: 도 1의 전자장치(100), 도 2의 전자장치(200) 또는 도 3의 전자장치(301))의 프로세서(예: 도 2의 프로세서(210) 또는 도 3의 프로세서(320))는, 동작 401에서, 객체에 대한 제1입력을 수신할 수 있다. 객체는 예를 들어 AR 환경에서 현실 객체 또는 가상 객체를 포함할 수 있다. 객체는 그 용어를 불문하고 예를 들어 앱 또는 기능을 표시하는 아이콘과 같은 기능을 형상화한 오브젝트를 포함할 수 있다.
제1입력은 예를 들어 엄지와 검지(또는 엄지를 제외한 복수의 손가락들)를 객체의 소정 범위 이내로 근접시키고 객체를 집는(pick) 것과 같은 동작을 포함할 수 있다. 제1입력은 예를 들어 하나 또는 그 이상의 손가락을 사용하여 객체에 대해 예를 들면 브이(V)자 형태로 긋는(체킹: checking) 동작을 포함할 수 있다. 제1입력은 예를 들어 손가락을 포함하는 손으로 객체를 터치(touch)하거나 탭(tap)하는 동작을 포함할 수 있다.
프로세서(210 또는 320)는, 동작 403에서, 동작 401에서 수신된 제1입력의 대상인 객체와 특정 영역에 대한 제2입력을 수신할 수 있다. 제2입력은 예를 들어 대상 객체와 특정 영역을 연관시키는 입력일 수 있다. 제2입력은 예를 들어 사용자가 특정 영역을 지정하는 동작에 따른 입력과 상기 특정 영역에 대해 대상 객체를 연관시키는 동작에 따른 영역을 포함하는 일련의 입력 동작으로 구성될 수 있다. 특정 영역은 예를 들면 사용자가 지정된 동작을 통해 특정하는 영역일 수 있다. 특정 영역은 예를 들면 사용자의 음성 명령에 따라 특정 위치에 지정된 범위로 설정되는 영역일 수 있다. 특정 영역은 예를 들면 손바닥, 트레이(tray) 또는 카트(cart)와 같은 형태로 가시화되어 디스플레이될 수 있다. 특정 영역은 예를 들면 사용자가 객체를 선택하여 그룹화하기 위해, 음성, 동작 또는 메뉴에 의해 선택 모드를 실행함에 따라 즉시 생성되거나 선택 모드 하에서 객체를 탭, 터치 또는 체킹하는 동작을 수행함에 따라 생성될 수 있다. 선택된 객체와 특정 영역을 연관시키는 동작은 예를 들어 엄지와 검지(또는 엄지를 제외한 복수의 손가락들)를 사용하여 객체를 집는(pick) 동작을 유지하며 특정 영역으로 이동하여 선택된 객체를 내려놓는(예: 손가락을 벌리는 동작) 동작을 포함할 수 있다. 선택된 객체와 특정 영역을 연관시키는 동작은 예를 들어 특정 객체를 탭, 터치 또는 체킹하는 동작에 이어서 특정 영역을 탭, 터치 또는 체킹 동작을 포함할 수 있다. 선택된 객체와 특정 영역을 연관시키는 동작은 예를 들어 특정 영역을 생성한 후 객체에 대한 탭, 터치 또는 체킹 동작을 포함할 수 있다.
동작 401 및 403은 반복적으로 수행될 수 있으며 이에 따라 복수의 객체들이 선택되어 특정될 수 있다.
프로세서(210 또는 320)는, 동작 405에서, 특정된 객체들에 대한 제3입력을 수신할 수 있다. 제3입력에 따라 프로세서(210 또는 320)는 특정된 객체들을 그룹화할 수 있다. 제3입력은 예를 들어 주먹을 쥐거나(grab) 손바닥을 오므리는 동작을 포함할 수 있다. 제3입력은 예를 들어 그룹화(group) 또는 완료(complete)를 명령하는 음성 명령을 포함할 수 있다. 제3입력은 예를 들어 특정 영역에 대한 일 회 이상 탭 동작(예: double tap) 또는 소정 시간 이상의 터치 유지 동작(예: long press)을 포함할 수 있다. 동작 405에서 제3입력이 수신될 때까지 동작 401 및 403은 반복적으로 수행될 수 있으며 복수의 객체들이 추가 선택 및 특정될 수 있다.
동작 407에서, 프로세서(210 또는 320)는 특정된 객체들에 대한 정보를 확인할 수 있다. 특정된 객체가 가상 객체인 경우에는 가상 객체에 대한 정보를 확인할 수 있으며, 현실 객체인 경우에는 예를 들어 현실 객체의 이미지를 서버(예: 도 3의 서버(308)) 또는 외부 전자장치(예: 도 3의 전자장치(302 또는 304))로 전송하고 해당 이미지에 대한 정보를 수신할 수 있다. 동작 407은 생략되거나 후술하는 동작 411에 통합될 수 있다.
동작 409에서 프로세서(210 또는 320)는 특정된 객체들에 대한 제4입력을 수신할 수 있다. 제4입력은 예를 들면 제3입력의 역 동작 또는 동일 동작의 반복일 수 있다. 제4입력은 예를 들면 주먹(grab)을 펴는 동작일 수 있다. 제4입력은 예를 들어 특정 영역을 복수 회 탭하는 동작(예: double tap) 또는 소정 시간 이상 터치 유지하는 동작(예: long press) 또는 음성으로 확인(viewing) 명령을 발하는 것을 포함할 수 있다. 제4입력은 예를 들어 특정 영역을 나타내는 트레이 또는 카트와 같은 오브젝트를 바닥, 벽 또는 스크린의 가장자리와 같은 지정된 영역에 붙이는 제스처와 같은 동작을 포함할 수 있다.
제4입력을 수신함에 따라 프로세서(210 또는 320)는, 동작 411에서, 그룹화된 객체들의 정보를 확인할 수 있다. 프로세서(210 또는 320)는 그룹화된 객체들의 이미지 및/또는 정보들을 디스플레이할 수 있다. 또한 프로세서(210 또는 320)는 그룹화된 객체들의 정보를 분석할 수 있으며 그룹화된 객체들의 정보들로부터 공통된 정보 또는 유추되는 정보를 추출할 수 있다.
동작 413에서, 프로세서(210 또는 320)는 그룹화된 객체들의 정보에 기반하여 전자장치(100, 200 또는 301)가 지정된 기능을 수행하도록 할 수 있다.
프로세서(210 또는 320)는 그룹화된 객체들의 정보 중 공통된 정보 또는 유추되는 정보에 대응하는 기능의 목록을 추출할 수 있다. 대응하는 기능이 복수개인 경우 프로세서(210 또는 320)는 해당 기능들을 예를 들어 전자장치(100, 200 또는 301)에서 해당 객체들에 대해 가장 많이 수행되는 기능 순으로 또는 일반적으로 가장 많이 수행되는 기능 순으로, 또는 사용자 설정 순서에 따라 제시할 수 있다. 프로세서(210 또는 320)는 하나의 기능이 추출되는 경우 해당 기능을 즉시 또는 사용자 선택에 따라 수행하도록 할 수 있다. 프로세서(210 또는 320)는 복수개의 기능이 추출되는 경우 사용자 선택을 위해 추출된 기능 목록을 지정된 순서에 따라 디스플레이하여 제시하거나 복수개의 기능 중 어느 일 기능 이상을 추천하여 사용자가 선택하도록 할 수 있다.
그룹핑된 객체들의 정보에 기반하여 제시될 수 있는 기능의 예는 다음과 같다.
예를 들어 그룹핑된 객체들이 인물들인 경우 연락처, 스케줄 또는 함께 찍은 사진과 같은 파일 공유 기능이 제시될 수 있다. 예를 들어 인물과 함께 상품 또는 물체가 그룹핑된 경우, 상품이 운동 기구인 경우에는 예를 들어 운동법 추천, 상품이 의류, 신발 또는 가방일 경우에는 가상 피팅 기능을 추천할 수 있다. 예를 들어 인물과 함께 특정 장소가 그룹핑된 경우에는 특정 장소에 방문 기록을 남기기 위한 기능이 추천될 수 있다. 예를 들어 인물과 함께 이미지, 앱, 가상의 물체와 같은 가상 객체들이 선택된 경우 해당 선택된 가상 객체와 인물을 합성하거나 해당 인물이 있는 이미지 검색, 해당 인물에 해당 앱 기능 실행, 캘린더에 스케쥴 잡기, 가상의 캐릭터와 함께 합성 이미지 생성하기와 같은 기능을 추천할 수 있다.
예를 들어 상품 또는 물체들이 복수 개 선택된 경우에는 해당 상품들을 비교하는 기능 또는 전자결재 기능이 추천될 수 있다. 예를 들어 상품 또는 물체와 함께 이미지, 앱, 버튼과 같은 가상 객체들이 그룹화된 경우 AR 위젯으로 활용되도록 상품과 이미지 또는 영화를 합성하거나 버튼에 의해 제공되는 기능을 해당 상품에 적용하여 AR 환경을 변화시킬 수 있다.
예를 들어 음식물이 음식물, 냉장고, 오븐, 장소와 함께 그룹핑되는 경우 조리방법, 보관 방법, 방문했던 장소와 메뉴 기록을 위한 기능이 추천될 수 있다. 예를들어 장소와 장소가 그룹핑되는 경우 이동 동선을 확인하기 위한 기능이 추천될 수 있다. 예를 들어 복수 개의 장치가 그룹핑되는 경우 장치들을 제어하기 위한 기능이 추천될 수 있다. 예를 들어 장치가 이미지, 앱, 버튼과 같은 가상 객체와 그룹핑되는 경우 해당 이미지를 해당 장치에서 재생하는 기능, 장치 사용 예약, 시간 설정과 같은 제어 기능, 해당 이미지를 해당 장치에 가상 이미지로 디스플레이하는 기능, 또는 각종 장치 제어 기능이 추천될 수 있다.
예를 들어 이미지가 타 이미지, 앱, 가상 객체 또는 버튼들과 그룹핑되는 경우 폴더링, 여러 개의 컨텐츠를 멀티 윈도우로 동시 재생, 컨텐츠 연결, 합성 또는 편집 기능, 슬라이드 쇼 기능이 추천될 수 있다. 예를 들어 앱이 특정 버튼과 그룹핑되는 경우 가상 객체에 스케일, 위치, 색상 변경을 위한 기능이 추천될 수 있다. 예를 들어 방과 같은 장소가 버튼과 그룹핑되는 경우 방 내 조명 또는 온도를 제어할 수 있는 기능이 추천될 수 있다. 예를 들어 버튼과 버튼이 그룹핑된 경우 개별화된 다기능 제어 리모컨이 추천될 수 있다.
한편, 동작 415에서 특정된 객체들에 대한 제4입력이 수신되기 전에 특정된 객체들에 대한 제5입력이 수신되면 프로세서(210 또는 320)는 객체들에 대한 특정화를 해제할 수 있다. 프로세서(210 또는 320)는 선택된 객체들에 대해 임시 저장된 객체 정보를 삭제할 수 있다. 제5입력은 예를 들면 펼쳐진 손바닥을 바닥으로 뒤집는 동작일 수 있다. 프로세서(210 또는 320)는 손바닥을 바닥으로 뒤집는 동작이 수신됨에 따라, 선택되어 특정 영역에 보관 중인 객체들이 손바닥, 트레이 또는 카트 형상 오브젝트가 뒤집혀 아래로 떨어지는 형상을 디스플레이 할 수 있다.
도시하지는 않았으나 특정된 객체들에 대한 제4입력 수신에 따라 특정된 객체들이 그룹화된 이후에도 사용자가 편집(edit) 또는 추가(add)를 위한 음성 명령 또는 디스플레이된 객체 중 적어도 일부 또는 특정 영역을 예를 들면 소정시간 이상 터치 유지(long press)하여 선택함으로써 편집 모드로 진입하도록 할 수 있으며, 선택된 적어도 일부의 객체를 그룹으로부터 제거하거나 다른 객체를 선택하여 그룹에 추가하도록 할 수 있다.
도 5a 내지 5c는 다양한 실시예들에 따른 전자 장치의 객체 선택(pickup) 동작의 예를 설명하기 위한 도면이다.
도 5a를 참조하면, 전자장치(예: 도 1의 전자장치(100), 도 2의 전자장치(200) 또는 도 3의 전자장치(301))의 프로세서(예: 도 2의 프로세서(210) 또는 도 3의 프로세서(320))는 예를 들면 사용자의 손(501)의 손가락 형상을 확인하고 엄지(502)와 검지(503)가 벌어져 있는 상태를 객체 선택(pick)을 위한 대기 상태로 인식할 수 있으며 사용자의 엄지(502) 및/또는 검지(503) 또는 이로부터 소정 범위의 영역 내에 위치하는 객체를 선택 위치에 있는 객체로 판단할 수 있다.
도 5b를 참조하면, 프로세서(210 또는 320)는 사용자 손(501)의 엄지(502) 및 검지(503)가 벌어진 상태로 객체(510)의 소정 거리 범위 내로 접근하면 해당 객체(510)를 예를 들면 하이라이트하여 해당 객체를 선택(pick) 할 수 있도록 선택 동작에 대기할 수 있다.
도 5c를 참조하면, 프로세서(210 또는 320)는 사용자 손(501)의 엄지(502)와 검지(503)가 소정 범위 이상 가까워진 상태가 되면 선택 대기 중인 해당 객체(510)를 선택(pick)하는 입력이 수신된 것으로 판단할 수 있다.
도 6은 다양한 실시예들에 따른 전자 장치의 객체 선택 동작의 예를 설명하기 위한 흐름도이다.
전자장치(예: 도 1의 전자장치(100), 도 2의 전자장치(200) 또는 도 3의 전자장치(301))의 프로세서(예: 도 2의 프로세서(210) 또는 도 3의 프로세서(320))는, 예를 들면 도 4의 401 동작에서 제1입력의 수신에 따라 특정 객체가 선택된 것으로 확인되면, 동작 601에서 선택된 객체의 정보를 확인한다. 가상 객체의 경우 객체 정보는, 3D 가장 객체를 랜더링하기 위한 이미지 정보와 객체의 명칭, 종류, 특성을 포함하는 속성 및 텍스트 정보를 포함할 수 있다. 현실 객체의 경우에는 전자장치(100, 200 또는 301)에 객체 정보가 존재하지 않을 수도 있다.
프로세서(210 또는 320)는, 동작 603에서, 선택된 객체가 가상 객체인지 여부를 판단하고, 가상 객체가 아닌 경우에는 동작 605에서 현실 객체의 객체 이미지를 획득한다. 이를 위해 프로세서(210 또는 320)는 카메라(예: 도 1의 카메라(131, 132) 또는 도 3의 카메라 모듈(380)에 의해 획득되는 영상으로부터 예를 들면 사용자의 손 또는 손가락의 위치로부터 소정 범위의 영역을 캡처(capture)할 수 있다. 프로세서(210 또는 320)는 카메라 모듈(380)에 의해 획득되는 객체들을 포함하는 영상 내에서 사용자의 손 또는 손가락의 위치를 산출하고 산출된 위치를 중심으로 소정 범위의 영역을 캡처하여 객체 이미지로서 획득할 수 있다. 프로세서(210 또는 320)는 획득된 객체 이미지로부터 객체의 특성을 추출하여 메모리(예: 도 2의 메모리(220) 또는 도 3의 메모리(330))에 저장된 객체 특성과 일치하는지 확인할 수 있다.
한편, 프로세서(210 또는 320)는, 동작 607에서, 획득된 객체 이미지를 예를 들면 서버(예: 도 3의 서버(308)로 전송할 수 있으며, 동작 609에서, 전송한 이미지에 대한 관련 정보를 서버(308)로부터 수신할 수 있다. 선택된 객체가 가상 객체인 경우에는 동작 611에서 프로세서(210 또는 320)는 메모리(220 또는 330)로부터 가상 객체의 정보를 확인할 수 있다.
프로세서(210 또는 320)는 도 4의 동작 403에서 제2입력이 수신됨에 따라 객체 담기(holding) 동작이 입력된 것으로 판단하고, 수신 또는 확인된 객체 관련 정보를 목록화하여 별도로 임시 저장할 수 있다.
도 7a 내지 7c는 다양한 실시예들에 따른 전자 장치의 객체 담기(holding) 동작의 예를 설명하기 위한 도면이다.
도 7a를 참조하면, 사용자의 손(705)의 손바닥을 펼치는 동작이 감지됨에 따라 프로세서(210 또는 320)는 사용자의 손(705)으로부터 소정 범위의 영역을 특정 영역(707)으로 설정할 수 있다. 프로세서(210 또는 320)는 설정된 특정 영역(707)을 색상을 달리하거나 트레이(tray) 또는 카트(cart) 형상으로 대체하여 디스플레이할 수 있다. 도 7b를 참조하면 사용자의 손(705)의 방향에 따라 설정되는 특정 영역(707)이 변화할 수 있다. 실시 예에 따라 사용자의 손(705) 동작이 유지되는 동안 객체를 추가로 선택할 수 있도록 구현될 수 있다. 실시 예에 따라 사용자의 손(705) 동작이 정확히 유지되지 않는 경우에도 사용자의 다른 손(701)이 객체를 선택하기 위해 움직이고 있는 동안(hovering) 또는 사용자의 손(705)에 의해 또는 다른 입력에 의해 객체 그룹화 명령 또는 객체 선택 완료 명령이 수신되기 전까지는 설정된 영역(707)이 고정되어 유지되도록 구현될 수 있다.
도 7c를 참조하면, 특정 영역(707)을 설정하는 사용자의 손(705)과 객체(710)를 선택하는 사용자의 손(701)은 서로 다른 손일 수 있다. 사용자는 다른 손(701)의 엄지(702)와 검지(3)로 집어 선택하고 특정 영역(707)으로 이동하여 끌어온 객체(710)에 대해, 특정 영역(707)의 범위 내에서 엄지(702)와 검지(703)를 벌림으로써 특정 영역(707)과 연관되도록 할 수 있다. 예를 들어 프로세서(210 또는 320)는 사용자의 손(701)의 엄지(702)와 검지(703)가 벌어져 특정 영역(707) 내부로 해당 객체(710)가 담겨지는 형상이 디스플레이되도록 하여 해당 객체(710)가 특정 영역(707) 내에서 그룹화를 위해 별도로 대기 중임을 표시할 수 있다.
도 8은 다양한 실시예들에 따른 전자 장치의 객체 담기 동작의 예를 설명하기 위한 흐름도이다.
도 8을 참조하면, 전자장치(예: 도 1의 전자장치(100), 도 2의 전자장치(200) 또는 도 3의 전자장치(301))의 프로세서(예: 도 2의 프로세서(210) 또는 도 3의 프로세서(320))는, 예를 들면 도 4의 401 동작에서 제1입력의 수신에 따라 특정 객체가 선택된 것으로 확인할 수 있다. 프로세서(210 또는 320)는, 동작 801에서, 제1입력이 유지되는지 확인할 수 있다. 이어서 프로세서(210 또는 320)는, 동작 803에서, 제1입력이 유지되고 있는 상태에서 예를 들면 도 4의 403 동작에 따른 제2입력을 수신할 수 있다. 프로세서(210 또는 320)는 동작 805에서, 제1 입력이 유지된 이후 수신된 제2입력이 발생한 위치가 특정 영역 내부인지를 확인할 수 있다. 프로세서(210 또는 320)는 제2입력이 발생한 위치가 특정 영역 내부이면, 동작 807에서, 선택된 객체를 그룹화 대상으로 목록에 추가할 수 있다. 한편, 제2입력이 발생한 위치가 특정 영역 내부가 아니면, 동작 809에서, 프로세서(210 또는 320)는 해당 객체에 대한 선택을 해제할 수 있다. 따라서 사용자는 제1입력에 따라 선택된 객체에 대해 특정 영역 외부에서 제2입력을 발생시킴으로써 간단하게 해당 객체의 선택을 취소할 수 있다.
도 9a 내지 9c는 다양한 실시예들에 따른 전자 장치의 객체 그룹화 및 확인 동작의 예를 설명하기 위한 도면이다.
도 9a를 참조하면, 예를 들어 사용자는 트레이로 인식된 손(905)의 손바닥을 펼치는 동작(A)를 유지함으로써 선택된 객체들을 특정 영역 내에 보유 또는 담기를 지속(holding)하라는 명령을 입력할 수 있다.
도 9b를 참조하면, 예를 들어 사용자는 트레이로 인식된 손(905)의 손바닥을 펼쳐진 상태(A)로부터 변화시켜 오므리거나 주먹을 쥐는 동작(B)을 수행함으로써 특정 영역내에 보유 또는 담기가 수행되어 그룹화 대기 중인 객체들에 대해 그룹화 명령을 입력할 수 있고 이에 따라 복수의 객체들에 대한 그룹핑을 완료할 수 있다.
도 9c를 참조하면, 예를 들어 사용자는 도 9b에서 손(905)의 주먹 쥔(B) 동작으로부터 상태를 변경시켜 손(905)의 주먹(grab)을 펴서 손바닥을 펼치는 동작(C)을 수행함으로써 그룹핑된 객체들을 확인(viewing)하라는 명령을 입력할 수 있다.
도 10a 및 10b는 다양한 실시예들에 따른 전자 장치의 객체 선택 취소 동작의 예를 설명하기 위한 도면이다.
도 10a를 참조하면, 예를 들어 사용자는 트레이로 인식된 손(905)의 손바닥이 펼쳐진 상태로부터 손바닥 면을 아래쪽으로 뒤집는 동작(A)을 수행함으로써 선택된 객체에 대한 선택을 모두 해제할 수 있다. 한편, 예를 들어 사용자는 그룹화가 완료된 상태에서 그룹핑된 객체들을 확인하라는 명령을 입력하기 위해 손바닥을 펼치는 동작(예: 도 9c의 동작(C)) 상태에서 손바닥 면을 아래쪽으로 뒤집는 동작(A)을 소정 시간 이상 유지함으로써 그룹화를 해제하고 선택된 객체에 대한 선택을 모두 해제할 수 있다.
도 10b를 참조하면, 예를 들어 사용자는 트레이로 인식된 손(905)의 손바닥이 펼쳐진 상태에서 트레이 영역 또는 특정 영역(1007)에 보유된 객체(1011)을 다른 손(1001)의 엄지(1002)와 검지(1003)를 가까이 근접시켜 집는 듯한 동작을 수행함으로써 선택하고, 이 상태에서 이동하여 특정 영역(1007)의 외부에서 엄지(1002)와 검지(1003)를 벌려 해당 객체(1011)를 떨어뜨리는 듯한 동작을 수행함으로써, 선택되어 보유된 그룹화 대상 객체들 중 일부를 선택적으로 선택 취소하도록 할 수 있다.
도 11은 다양한 실시예들에 따른 전자 장치의 객체 선택 취소 또는 객체 선택 추가 동작의 예를 설명하기 위한 흐름도이다.
도 11을 참조하면, 전자장치(예: 도 1의 전자장치(100), 도 2의 전자장치(200) 또는 도 3의 전자장치(301))의 프로세서(예: 도 2의 프로세서(210) 또는 도 3의 프로세서(320))는, 그룹화 명령이 입력되어 그룹핑이 완료된 이후에도 편집 모드를 실행하여 선택된 객체를 선택 취소하거나 추가로 객체를 선택하도록 할 수 있다.
예를 들어 도 4의 409 동작에 따라 특정된 객체들에 대한 제4입력이 수신되어 객체들에 대한 그룹핑이 완료된 이후 도 4의 411 동작에서는 그룹핑된 객체들에 대한 정보를 확인하는 동작(viewing)이 수행될 수 있다.
동작 1101에서, 프로세서(210 또는 320)는 그룹핑된 객체들에 대한 정보를 디스플레이하여 그룹화된 객체들을 확인하도록 할 수 있다.
사용자는 그룹화된 객체들에 대한 정보를 확인하고, 편집(edit) 또는 추가(add)를 위한 음성 명령을 입력하거나 디스플레이된(viewed) 객체 중 적어도 일부에 대해 소정 시간 이상 터치를 유지(long press)하거나 트레이 영역 또는 특정 영역을 소정시간 이상 터치 유지(long press)함으로써 편집 모드로 진입하도록 할 수 있다.
프로세서(210 또는 320)는 동작 1103에서 편집 모드 실행 명령이 입력된 것으로 판단되면, 편집 모드로 진행하고 사용자의 입력에 따라 특정 객체를 그룹핑 목록으로부터 삭제하거나 그룹핑 목록으로 추가하도록 할 수 있다.
프로세서(210 또는 320)는 동작 1107에서 편집 모드의 종료 또는 그룹핑 명령이 수신되는지 판단하여 그룹핑이 완료되도록 할 수 있다.
그룹핑이 완료되면, 프로세서(210 또는 320)는 동작 1109에서 그룹화된 객체 정보에 기반하여 지정된 기능을 수행하도록 할 수 있다. 프로세서(210 또는 320)는 추천 기능을 제시하여 사용자가 선택하도록 할 수 있다.
도 12는 그룹화된 객체에 기반한 기능을 수행하는 동작의 예를 설명하기 위한 흐름도이다.
프로세서(예: 도 2의 프로세서(210) 또는 도 3의 프로세서(320))는 동작 1201에서 그룹화된 객체들의 정보들을 분석할 수 있다. 이에 따라 프로세서(210 또는 320)는 그룹화된 객체들의 정보로부터 공통된 정보 또는 유추되는 정보를 추출할 수 있다.
동작 1203에서, 프로세서(210 또는 320)는 그룹화된 객체들의 정보에 기반하여 전자장치(예: 도 1의 전자장치(100), 도 2의 전자장치(200) 또는 도 3의 전자장치(301))에서 수행할 지정된 기능이 존재하는지 확인할 수 있다.
지정된 기능이 존재하는 경우 프로세서(210 또는 320)는 동작 1205에서 지정된 기능을 즉시 또는 사용자 선택에 의해 수행하도록 할 수 있다. 한편 그룹화된 객체들의 정보 중 공통된 정보 또는 유추되는 정보에 대응하는 기능이 복수 개 존재하는 경우 프로세서(210 또는 320)는 해당 기능들을 해당 객체들에 대해 가장 많이 수행되는 기능 순으로 또는 일반적으로 가장 많이 수행되는 기능 순으로, 또는 사용자 설정 순서에 따라 순서대로 디스플레이하여 제시함으로써 사용자가 선택하도록 할 수 있다. 프로세서(210 또는 320)는 하나의 기능만이 존재하는 경우에는 해당 기능을 즉시 또는 사용자 선택에 따라 수행하도록 할 수 있다.
한편, 분석 정보를 기반으로 지정된 기능이 존재하지 않는 것을 판단된 경우 프로세서(210 또는 320)는 동작 1207에서 다수의 수행 가능한 기능들의 목록을 디스플레이하여 사용자가 수행하고자 하는 기능을 지정하도록 할 수 있다. 프로세서(210 또는 320)는 동작 1209에서 사용자가 제시된 기능들 중 수행하고자 하는 기능을 지정하는지 확인하고, 수행 기능이 지정되면 동작 1205로 회귀하여 지정된 기능을 수행하도록 한다.
한편, 그룹화 객체에 대해 수행 가능한 기능이 존재하지 않거나 사용자에 의해 지정되지 않는 경우에는 프로세서(210 또는 320)는 동작 1211에서 폴더를 생성하고 해당 그룹핑 객체들을 폴더에 저장하도록 할 수 있다. 또한 프로세서(210 또는 320)는 해당 폴더를 미실행 폴더 또는 보류 폴더로 표시할 수 있다.
도 13a 내지 13h는 다양한 실시예들에 따른 전자 장치에서 복수의 객체를 선택하고 그룹화하여 그룹화된 객체들에 기반한 기능을 수행하는 예를 설명하기 위한 도면이다.
도 13a를 참조하면, 사용자는 디스플레이(예: 도 1의 디스플레이(120) 또는 도 3의 표시 장치(360))를 통해 제시되는 가상 객체 또는 현실 객체 중 현실 객체(1311)를 선택하기 위해 예를 들어 손(1301)을 현실 객체(1311)의 소정 범위 이내에 근접시키고 엄지와 검지를 이용하여 집기 동작(pick)을 수행하여 제1입력을 실행할 수 있다. 현실 객체(1311)의 선택을 위한 제1입력은 예를 들어 하나 또는 그 이상의 손가락을 사용하여 객체(1311)에 대해 예를 들면 브이(V)자 형태로 긋는(체킹: checking) 동작, 손으로 객체(1311)를 터치(touch)하거나 탭(tap)하는 동작을 포함할 수 있다.
도 13b를 참조하면, 사용자는 객체(1311)를 선택하기 위한 제1입력을 유지한 상태에서 객체(1311)와 특정 영역(1311)을 연관시키는 제2입력을 위한 동작을 수행할 수 있다. 객체(1311)와 특정 영역(1311)을 연관시키는 제2입력은 예를 들어 사용자가 왼손(1305) 손바닥을 펼침으로써 지정되는 손바닥으로부터 소정 범위 내의 특정 영역, 예를 들면 왼손 영역(1305) 내에 선택된 객체(1311)를 오른손(1301)을 이동시켜 내려놓는 일련의 입력 동작을 포함할 수 있다. 특정 영역은 예를 들면 손바닥 주변으로 원형 또는 타원형, 트레이(tray) 또는 카트(cart)와 같은 형태 및 색상으로 가시화되어 디스플레이될 수 있다. 선택된 객체(1311)와 왼손 영역(1305)을 연관시키는 제2입력 동작은 예를 들어 해당 객체(1311)를 탭, 터치 또는 체킹하는 동작에 이어서 왼손 영역(1305)을 탭, 터치 또는 체킹하는 두 개 이상의 동작을 포함할 수 있다.
이어서 도 13c를 참조하면, 사용자는 왼손(1305)이 펼쳐진 상태를 유지하며 오른손(1301)을 이용하여 다수의 어플리케이션 중 전자결재 앱의 아이콘(1312)을 선택하고 왼손(1305)의 영역으로 이동하여 영역 내부에 내려놓음으로써 전자결재 앱(1312)을 그룹화 대상으로서 추가로 선택할 수 있다. 왼손(1305)의 영역에는 현실 객체인 우유(1311)와 가상 객체인 전자 결재 앱(1312)가 선택되어 포함될 수 있다.
사용자는 선택된 객체들(1311 및 1312)을 그룹화하기 위해 또는 선택을 완료하기 위해 예를 들면 왼손(1305)을 오므려 주먹을 쥐는 동작을 수행하여 제3입력을 위한 동작을 수행할 수 있다. 제3입력은 예를 들어 주먹을 쥐거나(grab) 손바닥을 오므리는 동작 외에도 왼손 영역(1305)에 대한 2회 이상의 탭 동작(예: double tap) 또는 소정 시간 이상의 터치 유지 동작(예: long press)을 포함할 수 있다.
프로세서(예: 도 2의 프로세서(210) 또는 도 3의 프로세서(320))는 특정된 객체들에 대한 정보를 확인하여 분석할 수 있다. 특정된 객체가 가상 객체인 경우에는 가상 객체에 대한 정보를 확인할 수 있으며, 현실 객체인 경우에는 예를 들어 현실 객체의 이미지를 서버(예: 도 3의 서버(308)) 또는 외부 전자장치(예: 도 3의 전자장치(302 또는 304))로 전송하고 해당 이미지에 대한 정보를 수신할 수 있다.
프로세서(210 또는 320)는 그룹화된 객체들(1311 및 1312)의 정보 중 공통된 정보 또는 유추되는 정보에 대응하는 기능의 목록을 추출할 수 있다. 프로세서(210 또는 320)는 예를 들면 우유(1311)와 전자결재 앱(1312)에 대한 정보 분석을 통해 예를 들면 우유(1311)를 전자 결재하기 위한 기능을 제시할 수 있다.
도 13f를 참조하면, 사용자는 그룹화된 객체들(1311 및 1312)를 확인(viewing)하기 위한 제4입력으로서 예를 들면 왼손(1305) 손바닥을 펼치는 동작을 수행할 수 있다. 이외에도 제4입력은 예를 들어 왼손(1305) 영역을 복수 회 탭하는 동작(예: double tap) 또는 소정 시간 이상 터치 유지하는 동작(예: long press) 또는 음성으로 확인(viewing) 명령을 포함할 수 있다. 또한 제4입력은 예를 들어 특정 영역을 나타내는 트레이 또는 카트와 같은 오브젝트를 바닥, 벽 또는 스크린의 가장자리와 같은 지정된 영역에 붙이는 제스처와 같은 동작을 포함할 수 있다.
제4입력을 수신함에 대응하여 프로세서(210 또는 320)는, 그룹화된 객체들의 이미지 및/또는 정보들을 디스플레이하거나 그룹화된 객체들의 정보에 기반하여 전자장치(100, 200 또는 301)가 지정된 기능을 제공할 수 있다.
도 13f를 참조하면, 프로세서(210 또는 320)는 그룹화된 객체들의 정보(우유 및 전자결재)로부터 언어 완성을 통해 유추될 수 있는 우유를 전자 결재하는 기능(1320)을 제공할 수 있다.
도 13g를 참조하면, 프로세서(210 또는 320)는 우유를 결재하는 기능을 나타내는 객체(1321)를 디스플레이할 수 있으며, 사용자는 예를 들어 손(1305)을 이용하여 우유 결재 기능(1321)을 선택할 수 있다.
사용자의 우유 결재 기능(1321) 선택에 대응하여, 도 13h를 참조하면, 프로세서(210 또는 320)는 우유 결재 기능을 실행하고 실행 결과를 디스플레이(1322)할 수 있다.
도 14a내지 14d는 다양한 실시예들에 따른 전자 장치에서 복수의 객체를 선택하고 그룹화하여 그룹화된 객체들에 기반한 기능을 수행하는 다른 예를 설명하기 위한 도면이다.
도 14a 및 14b를 참조하면, 사용자는 오른손(1401)을 이용하여 다수의 앱 아이콘을 포함하는 가상 객체들을 선택하고 왼손(1405) 영역에 담을 수 있다. 왼손(1405) 영역 내부에는 선택된 복수의 가상 객체들(1411, 1412 및 1413)이 표시될 수 있다.
도 14c를 참조하면, 사용자는 왼손(1405)을 오므려 주먹을 쥐는 동작(grab)을 통해 객체 선택을 완료하고 그룹핑을 수행하도록 할 수 있다. 이경우 그룹핑된 객체들 간에 공통 정보는 앱으로서, 공통 정보 유추되는 정보에 따라 제시할 수 있는 기능이 존재하지 않을 수 있다. 이경우 프로세서(210 또는 320)는 새로운 폴더(1415)를 생성하고 그룹핑된 앱들(1411, 1412 및 1413)을 폴더(1415) 내로 이동시켜 저장할 수 있다. 또한 프로세서(210 또는 320)는 생성된 폴더에 대한 이름을 지정할 수 있도록 하거나 임시 폴더로서 표시하여 디스플레이할 수 있다.
도 15a 내지 15d는 다양한 실시예들에 따른 전자 장치에서 복수의 객체를 선택하고 그룹화하여 그룹화된 객체들에 기반한 기능을 수행하는 또 다른 예를 설명하기 위한 도면이다.
도 15a를 참조하면, 사용자는 오른손(1501)을 이용하여 다수의 인물 중 특정 인물들을 선택하고 왼손(1505) 영역에 담기 위한 동작을 수행할 수 있다. 왼손(1505) 영역 내부에는 선택된 복수의 현실 객체들의 이미지(1511, 1512 및 1513)이 표시될 수 있다.
도 15b를 참조하면, 사용자는 왼손(1505)을 오므려 주먹을 쥐는 동작(A)을 통해 객체 선택을 완료하고 그룹핑을 수행하도록 할 수 있다. 이경우 그룹핑된 객체들 간의 공통 정보는 인물로서, 공통 정보 유추되는 정보에 따라 제시할 수 있는 기능이 지정되어 있거나 인물을 대상으로 자주 사용한 기능이 제시될 수 있다. 예를 들어 인물을 대상으로 파일 공유가 지정되었거나 자주 사용한 경우에 도 15c를 참조하면 프로세서(210 또는 320)는 파일 공유 앱 기능(1521)을 추천할 수 있다. 사용자가 오른손(1501)을 이용하여 해당 앱(1521)을 선택하면, 프로세서(210 또는 320)는 도 15d에 도시된 바와 같이, 인물들(1511, 1512 및 1513)과 파일 공유 앱을 활성화하고 공유할 수 있는 파일들을 목록화하여 디스플레이(1522)할 수 있다. 실시 예에 따라 인물을 대상으로 하는 앱으로 파일 공유 앱 기능 외에도 화상 회의 기능, 단체 대화 기능과 같이 복수의 기능이 추출될 수 있다. 복수의 기능이 추출되는 경우 미리 지정된 기능이 없는 경우에는 예를 들면 자주 사용하는 기능 순서로 사용자에게 제시하여 선택하도록 할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(301)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(336) 또는 외장 메모리(338))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(340))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(301))의 프로세서(예: 프로세서(320))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    카메라 모듈; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 디스플레이를 통해 하나 이상의 현실 객체와 하나 이상의 가상 객체를 디스플레이하고,
    상기 객체들 중 어느 일 객체를 선택하기 위한 제1입력을 수신한 이후 상기 선택된 객체에 대한 제2입력을 수신하고,
    상기 제1입력과 상기 제2입력의 반복에 의해 선택된 객체들에 대한 그룹핑을 위한 제3입력이 수신되면 상기 그룹핑된 객체들에 대한 정보를 분석하고,
    상기 그룹핑된 객체들에 대한 제4입력이 수신되면 상기 그룹핑된 객체들에 대한 상기 정보 분석에 기반하여 추출되는 기능을 제공하도록 설정된, 전자 장치.
  2. 청구항 1에 있어서,
    상기 제2 입력은 상기 제1입력이 유지되는 상태에서 수신되는 전자 장치.
  3. 청구항 1에 있어서, 상기 제2 입력은 일련의 입력 동작들에 대응하여 수신되는 전자 장치.
  4. 청구항 3에 있어서,
    상기 제2입력은 상기 제1입력이 유지되는 상태에서 특정 영역으로 이동하는 제1동작 및 특정 영역에서의 상기 어느 일 객체에 대해 수행되는 제2동작을 포함하는 동작들에 대응하여 수신되는 전자장치.
  5. 청구항 1에 있어서, 상기 제1 내지 제4입력 중 적어도 하나는 상기 카메라 모듈을 통해 수신되는 전자 장치.
  6. 청구항 5에 있어서,
    상기 제1입력은 사용자의 한 손의 두 개 이상의 손가락의 제1동작에 대응하여 수신되는 전자 장치.
  7. 청구항 6에 있어서,
    상기 제2입력은 상기 사용자의 상기 한 손이 상기 사용자의 다른 손의 제3동작에 의해 특정되는 영역으로 이동하는 동작과 상기 특정 영역 내부에서의 상기 한 손의 손가락의 제2동작에 대응하여 수신되는 전자 장치.
  8. 청구항 7에 있어서, 상기 프로세서는
    상기 특정 영역 외부에서의 상기 한 손의 손가락의 상기 제2동작에 대응하여 해당하는 객체에 대한 선택을 취소하는 전자 장치.
  9. 청구항 7에 있어서,
    상기 프로세서는, 상기 제4입력 수신 이전에 상기 다른 손의 제4동작에 대응하는 제5입력이 수신되면 상기 그룹핑된 객체들에 대한 선택을 취소하는 전자장치.
  10. 청구항 7에 있어서, 상기 프로세서는
    상기 제4입력 수신 이후에 편집 모드가 입력되면 상기 그룹화를 해제하고 상기 그룹화되었던 객체 중 적어도 하나가 선택 가능하도록 설정하는 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 디스플레이를 통해 하나 이상의 현실 객체와 하나 이상의 가상 객체를 디스플레이하는 동작,
    상기 객체들 중 어느 일 객체를 선택하기 위한 제1입력을 수신한 이후 상기 선택된 객체에 대한 제2입력을 수신하는 동작,
    상기 제1입력과 상기 제2입력의 반복에 의해 선택된 객체들에 대한 그룹핑을 위한 제3입력이 수신되면 상기 그룹핑된 객체들에 대한 정보를 분석하는 동작,
    상기 그룹핑된 객체들에 대한 제4입력이 수신되면 상기 그룹핑된 객체들에 대한 상기 정보 분석에 기반하여 추출되는 기능을 제공하는 동작을 포함하는 방법.
  12. 청구항 11에 있어서,
    상기 제2입력은 상기 제1입력이 유지되는 상태에서 특정 영역으로 이동하는 제1동작 및 특정 영역에서의 상기 어느 일 객체에 대해 수행되는 제2동작을 포함하는 동작들에 대응하여 수신되는 방법.
  13. 청구항 11에 있어서,
    상기 제2입력은 사용자의 한 손의 두 개 이상의 손가락의 제1동작에 대응하여 수신되고, 상기 사용자의 상기 한 손이, 상기 사용자의 다른 손의 제3동작에 의해 특정되는 영역으로 이동하는 동작과 상기 특정 영역 내부에서의 상기 한 손의 손가락의 제2동작에 대응하여 수신되는 방법.
  14. 청구항 13에 있어서,
    상기 특정 영역 외부에서의 상기 한 손의 손가락의 상기 제2동작에 대응하여 해당하는 객체에 대한 선택을 취소하는 동작을 더 포함하는 방법.
  15. 청구항 13에 있어서,
    상기 제4입력 수신 이전에 상기 다른 손의 제4동작에 대응하는 제5입력이 수신되면 상기 그룹핑된 객체들에 대한 선택을 취소하는 동작을 더 포함하는 방법.
PCT/KR2020/001514 2019-01-31 2020-01-31 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법 WO2020159302A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20749662.1A EP3905016A4 (en) 2019-01-31 2020-01-31 ELECTRONIC DEVICE FOR PERFORMING VARIOUS FUNCTIONS IN AN AUGMENTED REALITY ENVIRONMENT AND METHODS OF OPERATION THEREOF
US17/427,608 US12099657B2 (en) 2019-01-31 2020-01-31 Electronic device for performing various functions in augmented reality environment, and operation method for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190012456A KR20200094970A (ko) 2019-01-31 2019-01-31 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
KR10-2019-0012456 2019-01-31

Publications (1)

Publication Number Publication Date
WO2020159302A1 true WO2020159302A1 (ko) 2020-08-06

Family

ID=71840230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/001514 WO2020159302A1 (ko) 2019-01-31 2020-01-31 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US12099657B2 (ko)
EP (1) EP3905016A4 (ko)
KR (1) KR20200094970A (ko)
WO (1) WO2020159302A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022066472A1 (en) * 2020-09-23 2022-03-31 Sterling Labs Llc Targeted drop of a computer-generated object
WO2023023069A1 (en) * 2021-08-17 2023-02-23 Meta Platforms Technologies, Llc Configuration of mixed reality objects in virtual reality environments
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US12086932B2 (en) 2021-10-27 2024-09-10 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12106440B2 (en) 2021-07-01 2024-10-01 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783555B2 (en) * 2021-11-16 2023-10-10 Peer Inc System and method for transferring content from one virtual environment to another
US12094031B2 (en) * 2022-03-11 2024-09-17 International Business Machines Corporation Mixed reality based contextual evaluation of object dimensions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110084748A (ko) * 2010-01-18 2011-07-26 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR20130117553A (ko) * 2012-04-18 2013-10-28 한국전자통신연구원 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
KR101712350B1 (ko) * 2015-10-15 2017-03-07 한국과학기술연구원 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체
US20170199580A1 (en) * 2012-10-17 2017-07-13 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
KR20170096420A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법
KR20180064748A (ko) * 2016-12-06 2018-06-15 한국과학기술연구원 공간적 관계 정보를 이용하여 겹쳐 있는 가상 객체를 선택하기 위한 방법, 프로그램 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007121557A1 (en) * 2006-04-21 2007-11-01 Anand Agarawala System for organizing and visualizing display objects
KR101622196B1 (ko) 2009-09-07 2016-05-18 삼성전자주식회사 휴대용 단말기에서 피오아이 정보 제공 방법 및 장치
KR101711047B1 (ko) 2010-10-07 2017-02-28 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR101891861B1 (ko) 2011-12-29 2018-08-24 라쿠텐 인코포레이티드 정보 처리 시스템, 정보 처리 시스템의 제어 방법, 및 정보 기억 매체
WO2014031126A1 (en) 2012-08-24 2014-02-27 Empire Technology Development Llc Virtual reality applications
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
KR101892735B1 (ko) 2015-02-05 2018-08-28 한국전자통신연구원 직관적인 상호작용 장치 및 방법
US10101803B2 (en) 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
EP3465475A1 (en) * 2016-06-02 2019-04-10 Kodak Alaris Inc. Method for producing and distributing one or more customized media centric products
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
KR101766592B1 (ko) 2016-08-01 2017-08-09 울산대학교 산학협력단 직관적 인터페이스 방식의 3차원 모형 모델링 방법 및 장치
US11022804B2 (en) 2017-07-20 2021-06-01 Lg Electronics Inc. Head-mounted display and method of controlling the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110084748A (ko) * 2010-01-18 2011-07-26 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR20130117553A (ko) * 2012-04-18 2013-10-28 한국전자통신연구원 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법
US20170199580A1 (en) * 2012-10-17 2017-07-13 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
KR101712350B1 (ko) * 2015-10-15 2017-03-07 한국과학기술연구원 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체
KR20170096420A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 대화형 3차원 디스플레이 장치 및 방법
KR20180064748A (ko) * 2016-12-06 2018-06-15 한국과학기술연구원 공간적 관계 정보를 이용하여 겹쳐 있는 가상 객체를 선택하기 위한 방법, 프로그램 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3905016A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022066472A1 (en) * 2020-09-23 2022-03-31 Sterling Labs Llc Targeted drop of a computer-generated object
US11960657B2 (en) 2020-09-23 2024-04-16 Apple Inc. Targeted drop of a computer-generated object
US12106440B2 (en) 2021-07-01 2024-10-01 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
WO2023023069A1 (en) * 2021-08-17 2023-02-23 Meta Platforms Technologies, Llc Configuration of mixed reality objects in virtual reality environments
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US12086932B2 (en) 2021-10-27 2024-09-10 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment

Also Published As

Publication number Publication date
US12099657B2 (en) 2024-09-24
EP3905016A4 (en) 2022-03-16
KR20200094970A (ko) 2020-08-10
US20220100279A1 (en) 2022-03-31
EP3905016A1 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
WO2020159302A1 (ko) 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
TWI730824B (zh) 處理第一裝置上的畫面的方法、使用包括物件的第一裝置來處理畫面的方法、與使用裝置來處理畫面的設備
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
WO2015183033A1 (en) Data processing method and electronic device thereof
WO2016175412A1 (en) Mobile terminal and controlling method thereof
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2019182403A1 (en) Method for supporting user input and electronic device supporting the same
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2019117566A1 (ko) 전자 장치 및 그의 입력 제어 방법
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
WO2017095082A1 (ko) 오디오 제공 방법 및 그 장치
WO2022131549A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2018080244A1 (ko) 전방위 영상을 획득하는 방법 및 장치
WO2020159308A1 (en) Electronic device and method for mapping function to button input
WO2017179903A1 (ko) 플렉서블 디바이스 및 플렉서블 디바이스의 동작 방법
WO2019156412A1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
WO2017200323A1 (ko) 사용자 데이터를 저장하는 전자 장치 및 그 방법
WO2021101006A1 (ko) 외부 객체의 반사 이미지의 위치에 기반하여 컨텐츠를 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2019103350A1 (ko) 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법
WO2022085940A1 (ko) 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
WO2019066323A1 (ko) 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
WO2018097483A1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
WO2020013542A1 (ko) 전자 장치 및 전자 장치의 기능 수행 방법
WO2018186642A1 (ko) 전자 장치 및 전자 장치의 화면 표시 방법
WO2021225333A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20749662

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020749662

Country of ref document: EP

Effective date: 20210728