WO2021107499A1 - 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치 - Google Patents

투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
WO2021107499A1
WO2021107499A1 PCT/KR2020/016338 KR2020016338W WO2021107499A1 WO 2021107499 A1 WO2021107499 A1 WO 2021107499A1 KR 2020016338 W KR2020016338 W KR 2020016338W WO 2021107499 A1 WO2021107499 A1 WO 2021107499A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
transparent flat
flat panel
processing apparatus
Prior art date
Application number
PCT/KR2020/016338
Other languages
English (en)
French (fr)
Inventor
배석형
이준협
안상균
김용관
함형기
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US17/780,905 priority Critical patent/US20230127260A1/en
Publication of WO2021107499A1 publication Critical patent/WO2021107499A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/021—Reading apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the following embodiments relate to a technology for processing an image using a transparent flat plate.
  • a small head mounted display (HMD) device worn on the user's eyes will be able to provide users with augmented reality more realistically by placing virtual objects in a physical space.
  • These virtual objects can become simple annotations that allow users to gain more information about physical spaces and objects, or quickly view more complex spatial UI elements that users need to interact with to work with rich spaces, enabling IoT, robotics, and more. It can be used for engineering and 3D sketching.
  • Virtual objects can appear in various environments within an immersive augmented reality situation, and users can easily control nearby virtual objects through gestures.
  • the method of interacting with a remote virtual object is relatively difficult and requires complex technology.
  • a method such as ray casting is inevitably less direct than a method of simply touching by hand, and inevitably less intuitive.
  • Embodiments may provide image processing technology capable of displaying an object on a transparent flat panel. Also, the embodiments may provide a technique for performing an interaction with an object using this.
  • An image processing method includes: obtaining information sensed by a user; and displaying an image in which at least one object seen through a transparent flat panel is back-projected onto the transparent flat panel based on the information on the transparent flat panel. includes steps.
  • the displaying may include displaying the image including a stereoscopic image of the at least one object.
  • the displaying may include displaying the image including a monoscopic image of the at least one object.
  • the image may be a back-projected image while maintaining the apparent size of the at least one object.
  • the sensed information may include a distance between the user's hand and the transparent flat plate.
  • the displaying may include displaying the image for gradually flattening the at least one object as the distance increases.
  • the displaying may include displaying the image that makes the at least one object have a sense of volume gradually as the distance increases.
  • the displaying may include displaying the image including a monoscopic image of the at least one object on the transparent flat panel when the distance is equal to or less than a threshold value.
  • the image processing method may further include controlling at least one of the at least one object and a periphery of the at least one object by using the image.
  • An image processing apparatus includes a memory including instructions and a processor for executing the instructions, and when the instructions are executed by the processor, the processor is transparent based on information sensed by a user An image in which at least one object seen through the flat panel is back-projected onto the transparent flat panel may be displayed on the transparent flat panel.
  • the processor may display the image including a stereoscopic image of the at least one object.
  • the processor may display the image including a monoscopic image of the at least one object.
  • the image may be a back-projected image while maintaining the apparent size of the at least one object.
  • the sensed information may include a distance between the user's hand and the transparent flat plate.
  • the processor may display the image for gradually flattening the at least one object as the distance increases.
  • the processor may display the image for gradually making the at least one object feel bulky as the distance increases.
  • the processor may display the image including a monoscopic image of the at least one object on the transparent flat panel.
  • the processor may control at least one of the at least one object and a periphery of the at least one object by using the image.
  • a sensor for sensing the user's information may be located in at least one of the transparent flat panel and the image processing device.
  • FIG. 1 is a schematic diagram of an image processing system for processing an image using a transparent flat panel according to an exemplary embodiment.
  • FIG. 2 is a schematic block diagram of the image processing apparatus shown in FIG. 1 .
  • 3A to 3D are diagrams for schematically explaining the concept of an operation in which an image processing apparatus processes an image using a transparent flat plate.
  • 4A is a diagram for explaining an operation of the image processing apparatus in a first operation mode of the image processing apparatus.
  • 4B is a diagram for explaining an operation of the image processing apparatus in a second operation mode of the image processing apparatus.
  • FIG. 5 is a diagram for explaining an image processing operation when an operation mode of the image processing apparatus is switched.
  • 6A and 6B are diagrams for explaining an example of an application to which a method of processing an image using a transparent flat panel according to an embodiment can be applied.
  • FIGS. 7A and 7B are diagrams for explaining another example of an application to which a method of processing an image using a transparent flat panel according to an exemplary embodiment may be applied.
  • FIGS. 8A and 8B are diagrams for explaining another example of an application to which a method of processing an image using a transparent flat panel according to an exemplary embodiment may be applied.
  • 9A and 9B are diagrams for explaining another example of an application to which a method of processing an image using a transparent flat panel according to an embodiment can be applied.
  • first or second may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one element from another element, for example, without departing from the scope of rights according to the concept of the embodiment, a first element may be named as a second element, and similarly The second component may also be referred to as the first component.
  • FIG. 1 is a schematic diagram of an image processing system for processing an image using a transparent flat panel according to an exemplary embodiment
  • FIG. 2 is a schematic block diagram of the image processing apparatus shown in FIG. 1 .
  • the image processing system 10 includes an image processing apparatus 100 , a transparent flat panel 130 , and a sensor 150 .
  • the image processing apparatus 100 may implement a world using virtual and/or reality.
  • the image processing apparatus 100 may include augmented reality (Augmented Reality (AR)), virtual reality (Virtual Reality (VR)), mixed reality (Mixed Reality (MR)), or extended reality (eXtended Reality (XR)).
  • AR Augmented Reality
  • VR Virtual Reality
  • MR Mixed reality
  • XR extended reality
  • the user may experience (or experience) augmented reality (AR), virtual reality (VR), mixed reality (MR), or extended reality (XR) implemented through the image processing apparatus 100 .
  • the image processing apparatus 100 may be implemented as a portable electronic device.
  • the image processing apparatus 100 may be implemented as a smart device.
  • the smart device may include a head mounted display (HMD), smart glasses, a smart watch, and a smart band. That is, the image processing apparatus 100 may be a wearable device that a user can wear or is suitable for wearing.
  • HMD head mounted display
  • smart glasses smart glasses
  • smart watch smart band
  • the image processing apparatus 100 may be a wearable device that a user can wear or is suitable for wearing.
  • the image processing apparatus 100 uses at least one object (in augmented reality (AR), virtual reality (VR), mixed reality (MR), or extended reality (XR) by using the transparent flat panel 130 and the sensor 150 . 170) can be dealt with.
  • object in augmented reality (AR), virtual reality (VR), mixed reality (MR), or extended reality (XR) by using the transparent flat panel 130 and the sensor 150 . 170
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality
  • XR extended reality
  • the object 170 may be located away from the transparent plate 130 .
  • object 170 may include one or more objects that a user sees through transparent flat panel 130 .
  • the object 170 may include one or more objects that can be seen by the user through the transparent flat panel 130 even if the user does not see it through the transparent flat panel 130 .
  • the object 170 may be a real object, a virtual object, or a virtual image.
  • the user may view the at least one object 170 in a flat or three-dimensional manner through the transparent flat panel 130 by the image processing apparatus 100 .
  • the user may interact with at least one of the at least one object 170 and the periphery of the object 170 using the transparent flat panel 130 .
  • the periphery of the object 170 may mean a peripheral area surrounding the object 170 viewed through the transparent flat plate 130 .
  • the size of the peripheral region may vary depending on the transparent flat plate 130 .
  • the image processing apparatus 100 includes a memory 200 and a processor 300 .
  • the processor 300 may control the overall operation of the image processing apparatus 100 .
  • the processor 300 processes an image of at least one object 170 viewed through the transparent flat panel 130 . can do.
  • the user uses the image processed by the image processing apparatus 100 to obtain the object 170 and the object 170 in augmented reality (AR), virtual reality (VR), mixed reality (MR), or extended reality (XR). ) can interact with its surroundings.
  • the processor 300 transmits a back-projection image obtained by back-projecting at least one object 170 seen through the transparent flat panel 130 to the transparent flat panel 130 on the basis of the information sensed by the user by the sensor 150 to the transparent flat panel 130 . ) can be displayed.
  • the back-projection image may be an image in which only the object 170 is back-projected or an image in which the object 170 and the periphery of the object 170 are back-projected together.
  • the back-projection image may be a back-projection image including a stereoscopic image of the object 170 or a back-projection image including a monoscopic image of the object 170 .
  • the processor 300 may operate (or call) the operation mode of the image processing apparatus 100 as the first operation mode or the second operation mode based on information sensed by the sensor 150 .
  • the first operation mode may mean a stereoscopic viewing mode
  • the second operation mode may mean a monoscopic touching mode.
  • the user can view the object 170 stereoscopically through the transparent plate 130 .
  • the user can view a back-projected image including a monoscopic image of the object 170 back-projected onto the transparent flat plate 130 .
  • the user may control the object 170 using a monoscopic image displayed on the transparent flat panel 130 .
  • the processor 300 displays a back-projection image obtained by back-projecting an object 170 that is far away from the transparent flat plate 130 (eg, far away) on the transparent flat plate 130 , so that the user can use the transparent flat plate 130 .
  • the processor 300 may provide a method of interacting with the object 170 in augmented reality (AR), virtual reality (VR), mixed reality (MR), or extended reality (XR), such as by touching the .
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality
  • XR extended reality
  • the processor 300 may process data stored in the memory 200 .
  • the processor 300 may execute computer-readable codes (eg, software) stored in the memory 200 and instructions induced by the processor 300 .
  • the processor 300 may be a hardware-implemented data processing device having a circuit having a physical structure for executing desired operations.
  • desired operations may include code or instructions included in a program.
  • a data processing device implemented as hardware includes a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , an Application-Specific Integrated Circuit (ASIC), and a Field Programmable Gate Array (FPGA).
  • ASIC Application-Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the transparent plate 130 may have a transparent plate shape.
  • the transparent flat panel 130 may communicate with the image processing apparatus 100 .
  • the sensor 150 may sense a user.
  • the sensor 150 may sense the distance between the user's hand and the transparent flat plate 130 .
  • the sensor 150 may transmit information sensed by the user, for example, information on a distance between the user's hand and the transparent flat plate 130 to the processor 300 of the image processing apparatus 150 .
  • the sensor 150 may be implemented in the image processing apparatus 150 or the transparent flat panel 130 . Also, the sensor 150 may be separately implemented outside the image processing apparatus 100 or the transparent flat plate 130 .
  • the image processing apparatus 100 allows the user to use the transparent flat panel 130 to provide a remote object.
  • a method of directly touching at least one of 170 and the surrounding area of the object may be provided.
  • the image processing apparatus 100 is similar to smartphone-based mobile reality (augmented reality or virtual reality) in immersive reality (augmented reality or virtual reality) based on a head mounted display (HMD) based on an object 170 located at a distance without binocular disparity. ) to provide the user with a user interface that can be directly touched.
  • smartphone-based mobile reality augmented reality or virtual reality
  • immersive reality augmented reality or virtual reality
  • HMD head mounted display
  • 3A to 3D are diagrams for schematically explaining the concept of an operation in which an image processing apparatus processes an image using a transparent flat plate.
  • a user interacts with an object 170 using the image processing apparatus 100 in an immersive world (eg, AR, VR, MR, or XR, etc.) implemented by the image processing apparatus 100 . It shows the steps of the operation.
  • an immersive world eg, AR, VR, MR, or XR, etc.
  • 3A illustrates a situation in which a user attempts to interact with a distant object 170 without the transparent flat panel 130 .
  • the user may experience difficulties in direct interaction with the object 170 due to the absence of haptic feedback and the occurrence of binocular disparity.
  • the user's hand 400 cannot accurately point to the object 170 due to binocular disparity.
  • FIG. 3B is a diagram illustrating a situation in which a user views the object 170 through the transparent flat panel 130 .
  • the user can stereoscopically view the object 170 through the transparent flat panel 130 .
  • the transparent flat panel 130 that is relatively closer than the distant object 170 may appear out of focus to the user.
  • FIG. 3C is a diagram illustrating an operation in which the user brings the user's hand 400 close to the transparent flat plate 130 in order to interact with the object 170 .
  • the image processing apparatus 100 converts a back-projected image obtained by back-projecting the object 170 onto the transparent flat plate 130 into the transparent flat plate 130 . can be displayed.
  • the image processing apparatus 100 may perform animated flattening when the main hand 400 approaches the transparent flat plate 130 . That is, the image processing apparatus 100 may display the object 170 as the transparent flat panel 130 while gradually flattening the object 170 as the main hand 400 approaches the transparent flat panel 130 .
  • FIG. 3D is a diagram illustrating a situation in which a user interacts with the object 170 using the transparent flat panel 130 .
  • the image processing apparatus 100 converts a monoscopic image obtained by back-projecting the object 170 onto the transparent flat plate 130 to the transparent flat plate. (130) can be displayed.
  • the image processing apparatus 100 converts a monoscopic image obtained by back-projecting the object 170 onto the transparent flat plate 130 to the transparent flat plate 130 .
  • the user has haptic feedback and can interact with the object 170 without binocular disparity.
  • 4A is a diagram for explaining an operation of the image processing apparatus in a first operation mode of the image processing apparatus.
  • the image processing apparatus 100 may operate in a stereoscopic viewing mode, which is a first operation mode. When the user simply holds the transparent flat panel 130 with a non-dominant hand, the image processing apparatus 100 may operate in a stereoscopic viewing mode.
  • the user can view the object 170 stereoscopically through the transparent flat panel 130 in the stereoscopic viewing mode. That is, in the stereoscopic viewing mode, the object 170 viewed by the user through the transparent flat panel 130 and the object 170 viewed without the transparent flat panel 130 are the same.
  • the user may lift the transparent flat plate 130 up to eye level without taking his or her eyes off the object 170 while gazing at the distant object 170 with both eyes.
  • 4B is a diagram for explaining an operation of the image processing apparatus in a second operation mode of the image processing apparatus.
  • the image processing apparatus 100 may operate in a monoscopic touching mode, which is a second operation mode.
  • a monoscopic touching mode which is a second operation mode.
  • the image processing apparatus ( 100) can operate in monoscopic touching mode.
  • the image processing apparatus 100 may display the monoscopic image 175 obtained by back-projecting the object 170 onto the transparent flat panel 130 on the transparent flat panel 130 .
  • the monoscopic image 175 is an image in which the object 170 is back-projected onto the transparent flat panel 130 based on the central point between the user's two eyes.
  • the transparent flat panel 130 operates as an opaque flat panel simulating as if transparent to the user by displaying the viewpoint corrected monoscopic image 175 .
  • the user may interact with the object 170 without the effect of binocular disparity by using the monoscopic image 175 displayed on the transparent flat panel 130 .
  • the user may interact with the object 170 by touching, swiping, or pinching the surface of the transparent flat plate 130 .
  • FIG. 5 is a diagram for explaining an image processing operation when an operation mode of the image processing apparatus is switched.
  • the image processing apparatus 100 may gradually flatten the object 170 and reversely project the object 170 onto the transparent flat panel 130 . In this way, the image processing apparatus 100 may perform an animated flattening image processing operation for smooth mode switching.
  • the object 170 In the stereoscopic viewing mode, the object 170 maintains its original volume, and the user can see the object 170 three-dimensionally.
  • the object 170 In the monoscopic touching mode, the object 170 is back-projected onto the transparent flat panel 130 to be flatly displayed on the transparent flat panel 130 . That is, the object 170 of the monoscopic image 175 displayed on the transparent flat panel 130 in the monoscopic touching mode is displayed flat. Therefore, even when the viewpoints are aligned, when the image processing apparatus 100 switches from the stereoscopic viewing mode to the monoscopic touching mode, visual confusion may occur due to a sudden change, and eye fatigue may be induced. An animated flattening image processing operation of the image processing apparatus 100 may compensate for this side effect.
  • the image processing apparatus 100 displays on the transparent flat panel 130 a back-projected image 173 in which the flatness of the object 170 is gradually increased as the user's main hand 400 approaches the transparent flat panel 130 . can do.
  • the image processing apparatus 100 maps the flatness of the object 170 to the distance between the user's main hand 400 and the transparent flat panel 130 , and when the main hand 400 approaches the transparent flat panel 130 , the object 170 displays the flatter back-projection image 173 on the transparent flat plate 130 , and when the main hand 400 moves away from the transparent flat plate 130 , the object 170 becomes less flattened back-projected image 173 . ) can be displayed on the transparent flat panel 130 .
  • the image processing apparatus 100 maintains the apparent size of the object 170 along a straight line connecting the vertices of the object 130 and the central point between the user's eyes and moves in the direction of the transparent flat plate 130 to perform the reverse projection.
  • the back-projection image may be displayed on the transparent flat panel 130 , or the back-projected image of the object 170 back-projected back to its original position may be displayed on the transparent flat panel 130 .
  • Equation 1 When the object 170 is moved at a linear ratio as shown in Equation 1 below, since it is displayed as if it moves at different non-linear ratios from the viewpoints of the user's left and right eyes, the conversion process may look unstable and distorted. Accordingly, the image processing apparatus 100 moves the object 170 at a non-linear ratio as shown in Equation 2 to linearly move the object 170 in the back-projection image 173 viewed by the user.
  • F is a flatness proportional to the distance between the user's main hand 400 and the transparent flat plate 130, and is a value between 0 and 1
  • v is the position of the vertex during transition
  • v 0 is The original vertex position
  • v 1 is the completely flattened vertex position
  • p is the central position of the transparent plate 130
  • m is the position of the central point between the user's eyes
  • n p is the position of the transparent plate 130. It is a normal vector.
  • 6A and 6B are diagrams for explaining an example of an application to which a method of processing an image using a transparent flat panel according to an embodiment can be applied.
  • 6A and 6B illustrate a case in which a method of processing an image using a transparent flat panel is applied to an AR camera application.
  • the image processing apparatus 100 may be used as an AR camera.
  • the user may position the transparent flat panel 130 so that an area to be captured is visible through the transparent flat panel 130 , and the image processing apparatus 100 reverses the area that the user sees through the transparent flat panel 130 . It is possible to display the back-projected monoscopic image by projection on the transparent flat panel 130 .
  • a user may capture the monoscopic image displayed on the transparent flat panel 130 and use it as an AR camera.
  • the user may move the transparent plate 130 closer to or further away from the eye to capture a larger area or a narrower area of the view frustum.
  • the user may move the transparent flat panel 130 closer to the eye to zoom-in, and move it away from the eye to zoom-out.
  • the image processing apparatus 100 may clarify the definition of a frame by solving such a problem.
  • FIGS. 7A and 7B are diagrams for explaining another example of an application to which a method of processing an image using a transparent flat panel according to an exemplary embodiment may be applied.
  • the image processing apparatus 100 may be used for AR web browsing.
  • a small and distant UI (user interface) element of the AR web browsing window can be selected quickly and accurately.
  • the user may interact with the UI element using a gesture such as touching the AR web browsing window displayed on the transparent flat panel 130 .
  • the user may use the transparent flat panel 130 to control scrolling of the AR web browsing window or perform zoom-in or zoom-out.
  • FIGS. 8A and 8B are diagrams for explaining another example of an application to which a method of processing an image using a transparent flat panel according to an exemplary embodiment may be applied.
  • 8A and 8B illustrate a case where a method of processing an image using a transparent flat panel is applied to an AR IoT application and a robot programming application.
  • the image processing apparatus 100 may be used for AR Internet of Things (IoT) and robot programming.
  • a user may define a functional relationship between objects by drawing a line between smart objects using the image processing apparatus 100 .
  • a user may set a functional relationship between objects by swiping between smart objects displayed on the transparent flat panel 130 by the image processing apparatus 100 .
  • the user may control spatial operations of mobile robots and drones by using the image processing apparatus 100 .
  • the user may move the mobile robot or drone displayed on the transparent flat panel 130 by the image processing apparatus 100 to a desired position by touching or swiping.
  • 9A and 9B are diagrams for explaining another example of an application to which a method of processing an image using a transparent flat panel according to an embodiment can be applied.
  • 9A and 9B illustrate a case in which an image processing method using a transparent flat panel is applied to an AR sketching application.
  • the image processing apparatus 100 may be used for AR 3D sketching.
  • the user may perform sketching on the monoscopic image displayed on the transparent flat panel 130 by the image processing apparatus 100 .
  • the user can sketch on the transparent plate 130 in the monoscopic touching mode and check the 3D sketch in real time in the stereoscopic viewing mode.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave.
  • the software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

영상 처리 방법 및 이를 수행하는 장치가 개시된다. 일 실시예에 따른 영상 처리 방법은, 사용자를 센싱한 정보를 획득하는 단계와, 상기 정보에 기초하여 투명 평판을 통해 보이는 적어도 하나의 객체를 상기 투명 평판으로 역투영한 역투영 이미지를 상기 투명 평판으로 디스플레이하는 단계를 포함한다.

Description

투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치
아래 실시예들은 투명 평판을 이용하여 영상을 처리하는 기술에 관한 것이다.
우리는 웨어러블 장치가 인터넷과 로컬 노드들로부터 정보를 획득하는 미래를 상상한다. 예를 들어, 사용자는 스마트 안경을 눈에 착용하고, 사물 인터넷(internet of things(IoT))으로부터 정보를 상호적인 가상 요소(interactive virtual elements)로서 사용자 주변의 공간으로 가져오는 풍부한 컴퓨팅 미래를 상상할 수 있다.
1980년대에 데스크톱 컴퓨터가 등장했을 때, 또는 2000년대에 스마트 폰이 등장했을 때 등과 같이, 특정 컴퓨팅 폼 팩터(computing form factor)가 보편화될 때마다 이러한 컴퓨팅 폼 팩터를 용이하게 하는 유저 인터페이스(user interface(UI))가 개발되어 왔다.
개발자가 새로운 유저 인터페이스를 디자인할 때, 개발자는 의도된 목적에 부합하게 적응적으로 작동하는 윈도우들, 아이콘들, 메뉴들, 및 포인터(WIMP)와 터치 사용자 인터페이스(TUI)와 같은 이전 패러다임으로부터 개념을 선택적으로 빌려 디자인할 수 있다.
사용자의 눈에 착용 한 작은 HMD(head mounted display) 장치는 가상 객체를 물리적 공간에 배치시킴으로써 사용자에게 증강 현실을 보다 현실감 있게 제공할 수 있을 것이다. 이러한 가상 객체는 사용자가 물리적 공간 및 객체에 대한 더 많은 정보를 얻거나, 사용자가 풍부한 공간 작업을 위해 상호 작용 해야 하는 보다 복잡한 공간 UI 요소를 빠르게 볼 수 있는 간단한 주석이 될 수 있어서, IoT, 로봇 공학 및 3D 스케칭 등에 활용될 수 있다.
가상 객체는 몰입형 증강 현실 상황 내 다양한 환경에서 등장할 수 있으며, 사용자는 근처에 있는 가상 객체는 제스처를 통해 쉽게 제어할 수 있다. 다만, 원거리에 있는 가상 객체와 상호작용 하는 방법은 상대적으로 어렵고 복잡한 기술이 요구된다. 레이 캐스팅(ray casting)과 같은 방식은 필연적으로, 단순히 손으로 터치하는 방식보다 직접적이지 못하고, 직관성이 떨어질 수밖에 없다.
실시예들은 객체를 투명 평판에 디스플레이 할 수 있는 영상 처리 기술을 제공할 수 있다. 또한, 실시예들은 이를 이용하여 객체와 상호작용을 수행하는 기술을 제공할 수 있다.
일 실시예에 따른 영상 처리 방법은, 사용자를 센싱한 정보를 획득하는 단계와, 상기 정보에 기초하여 투명 평판을 통해 보이는 적어도 하나의 객체를 상기 투명 평판으로 역투영한 이미지를 상기 투명 평판으로 디스플레이하는 단계를 포함한다.
상기 디스플레이하는 단계는, 상기 적어도 하나의 객체의 스테레오스코픽(stereoscopic) 이미지를 포함하는 상기 이미지를 디스플레이하는 단계를 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 적어도 하나의 객체의 모노스코픽(monoscopic) 이미지를 포함하는 상기 이미지를 디스플레이하는 단계를 포함할 수 있다.
상기 이미지는, 상기 적어도 하나의 객체의 겉보기 크기를 유지하면서 역투영한 이미지일 수 있다.
상기 센싱한 정보는, 상기 사용자의 손과 상기 투명 평판 간의 거리를 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 거리가 가까워질수록 상기 적어도 하나의 객체를 점진적으로 평평하게 만드는 상기 이미지를 디스플레이하는 단계를 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 거리가 멀어질수록 상기 적어도 하나의 객체를 점진적으로 부피감을 갖도록 만드는 상기 이미지를 디스플레이 하는 단계를 포함할 수 있다.
상기 디스플레이하는 단계는, 상기 거리가 임계값 이하일 경우, 상기 적어도 하나의 객체의 모노스코픽(monoscopic) 이미지를 포함하는 상기 이미지를 상기 투명 평판 상에 디스플레이하는 단계를 포함할 수 있다.
상기 영상 처리 방법은, 상기 이미지를 이용하여 상기 적어도 하나의 객체 및 상기 적어도 하나의 객체의 주변 중에서 적어도 하나를 제어하는 단계를 더 포함할 수 있다.
일 실시예에 따른 영상 처리 장치는, 인스트럭션들을 포함하는 메모리와 상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고, 상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는, 사용자를 센싱한 정보에 기초하여 투명 평판을 통해 보이는 적어도 하나의 객체를 상기 투명 평판으로 역투영한 이미지를 상기 투명 평판으로 디스플레이할 수 있다.
상기 프로세서는, 상기 적어도 하나의 객체의 스테레오스코픽(stereoscopic) 이미지를 포함하는 상기 이미지를 디스플레이할 수 있다.
상기 프로세서는, 상기 적어도 하나의 객체의 모노스코픽(monoscopic) 이미지를 포함하는 상기 이미지를 디스플레이할 수 있다.
상기 이미지는, 상기 적어도 하나의 객체의 겉보기 크기를 유지하면서 역투영한 이미지일 수 있다.
상기 센싱한 정보는, 상기 사용자의 손과 상기 투명 평판 간의 거리를 포함할 수 있다.
상기 프로세서는, 상기 거리가 가까워질수록 상기 적어도 하나의 객체를 점진적으로 평평하게 만드는 상기 이미지를 디스플레이할 수 있다.
상기 프로세서는, 상기 거리가 멀어질수록 상기 적어도 하나의 객체를 점진적으로 부피감을 갖도록 만드는 상기 이미지를 디스플레이할 수 있다.
상기 프로세서는, 상기 거리가 임계값 이하일 경우, 상기 적어도 하나의 객체의 모노스코픽(monoscopic) 이미지를 포함하는 상기 이미지를 상기 투명 평판 상에 디스플레이할 수 있다.
상기 프로세서는, 상기 이미지를 이용하여 상기 적어도 하나의 객체 및 상기 적어도 하나의 객체의 주변 중에서 적어도 하나를 제어할 수 있다.
상기 사용자의 정보는 센싱하기 위한 센서는 상기 투명 평판 및 상기 영상 처리 장치 중에서 적어도 하나에 위치할 수 있다.
도 1은 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 영상 처리 시스템의 개략적인 도면을 나타내다.
도 2는 도1에 도시된 영상 처리 장치의 개략적인 블록도이다.
도3a 내지 도 3d는 영상 처리 장치가 투명 평판을 이용하여 영상을 처리하는 동작의 개념을 개략적으로 설명하기 위한 도면이다.
도 4a는 영상 처리 장치의 제1 동작 모드에서 영상 처리 장치의 동작을 설명하기 위한 도면이다.
도 4b는 영상 처리 장치의 제2 동작 모드에서 영상 처리 장치의 동작을 설명하기 위한 도면이다.
도 5는 영상 처리 장치의 동작 모드 전환 시 영상 처리 동작을 설명하기 위한 도면이다.
도 6a 및 도 6b는 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 방법을 적용할 수 있는 애플리케이션의 일 예를 설명하기 위한 도면이다.
도 7a 및 도 7b는 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 방법을 적용할 수 있는 애플리케이션의 다른 예를 설명하기 위한 도면이다.
도 8a 및 도 8b는 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 방법을 적용할 수 있는 애플리케이션의 또 다른 예를 설명하기 위한 도면이다.
도 9a 및 도 9b는 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 방법을 적용할 수 있는 애플리케이션의 또 다른 예를 설명하기 위한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다.
도 1은 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 영상 처리 시스템의 개략적인 도면을 나타내고, 2는 도 1에 도시된 영상 처리 장치의 개략적인 블록도이다.
도 1 및 도 2을 참조하면, 영상 처리 시스템(10)은 영상 처리 장치(100), 투명 평판(130), 및 센서(150)를 포함한다. 영상 처리 장치(100)는 가상 및/또는 현실을 이용하여 세계를 구현할 수 있다. 예를 들어, 영상 처리 장치(100)는 증강 현실(Augmented Reality(AR)), 가상 현실(Virtual Reality(VR)), 혼합 현실(Mixed Reality(MR)), 또는 확장 현실(eXtended Reality(XR))를 구현할 수 있다. 사용자는 영상 처리 장치(100)를 통해 구현된 증강 현실(AR), 가상 현실(VR), 혼합 현실(MR), 또는 확장 현실(XR)을 경험(또는 체험)할 수 있다.
영상 처리 장치(100)는 휴대용 전자 장치로 구현될 수 있다. 예를 들어, 영상 처리 장치(100)는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 헤드 마운티드 디스플레이(head mounted display(HMD)), 스마트 글래스(smart glasses), 스마트 워치(smart watch watch), 및 스마트 밴드(smart band)를 포함할 수 있다. 즉, 영상 처리 장치(100)는 사용자가 착용할 수 있는 또는 착용하기에 적합한 웨어러블 디바이스(wearable device)일 수 있다.
영상 처리 장치(100)는 투명 평판(130) 및 센서(150)를 이용하여 증강 현실(AR), 가상 현실(VR), 혼합 현실(MR), 또는 확장 현실(XR) 내 적어도 하나의 객체(170)를 처리할 수 있다.
객체(170)는 투명 평판(130)으로부터 떨어져 위치할 수 있다. 예를 들어, 객체(170)는 사용자가 투명 평판(130)을 통해 보는 하나 이상의 객체를 포함할 수 있다. 객체(170)는 사용자가 투명 평판(130)을 통해 보지 않더라도, 투명 평판(130)을 통해 사용자에게 보일 수 있는 하나 이상의 객체를 포함할 수 있다. 객체(170)는 실제 객체, 가상 객체, 또는 가상 이미지일 수 있다.
사용자는 영상 처리 장치(100)에 의해서 투명 평판(130)을 통해 적어도 하나의 객체(170)를 평면적으로 또는 입체적으로 바라볼 수 있다. 또한, 사용자는 투명 평판(130)을 이용하여 적어도 하나의 객체(170)와 객체(170)의 주변 중에서 적어도 하나와 상호작용할 수 있다. 객체(170)의 주변은 투명 평판(130)을 통해 보이는 객체(170)를 둘러싸고 있는 주변 영역을 의미할 수 있다. 주변 영역의 크기는 투명 평판(130)에 따라 가변될 수 있다.
영상 처리 장치(100)는 메모리(200) 및 프로세서(300)를 포함한다. 프로세서(300)는 영상 처리 장치(100)의 전반적인 동작을 제어할 수 있다. 증강 현실(AR), 가상 현실(VR), 혼합 현실(MR), 또는 확장 현실(XR)에서, 프로세서(300)는 투명 평판(130)을 통해 보는 적어도 하나의 객체(170)의 영상을 처리할 수 있다. 사용자는 영상 처리 장치(100)에 의해 처리된 영상을 이용하여, 증강 현실(AR), 가상 현실(VR), 혼합 현실(MR), 또는 확장 현실(XR)에서 객체(170)와 객체(170)의 주변과 상호작용할 수 있다.
프로세서(300)는 센서(150)가 사용자를 센싱한 정보에 기초하여 투명 평판(130)을 통해 보이는 적어도 하나의 객체(170)를 투명 평판(130)으로 역투영한 역투영 이미지를 투명 평판(130)으로 디스플레이 할 수 있다. 역투영 이미지는 객체(170)만 역투영한 이미지 또는 객체(170)와 객체(170)의 주변을 같이 역투영한 이미지일 수 있다. 예를 들어, 역투영 이미지는 객체(170)의 스테레오스코픽(stereoscopic) 이미지를 포함하는 역투영 이미지 또는 객체(170)의 모노스코픽(monoscopic) 이미지를 포함하는 역투영 이미지일 수 있다.
프로세서(300)는 센서(150)가 사용자를 센싱한 정보에 기초하여 영상 처리 장치(100)의 동작 모드를 제1 동작 모드 또는 제2 동작 모드로 동작할(또는 전화할) 수 있다. 제1 동작 모드는 스테레오스코픽 뷰잉 모드(stereoscopic viewing mode)를 의미하고, 제2 동작 모드는 모노스코픽 터칭 모드(monoscopic touching mode)를 의미할 수 있다.
스테레오스코픽 뷰잉 모드에서, 사용자는 투명 평판(130)을 통해 객체(170)를 입체적으로(stereoscopically) 바라볼 수 있다. 모노스코픽 터칭 모드에서, 사용자는 객체(170)를 투명 평판(130)으로 역투영한 모노스코픽 이미지를 포함하는 역투영 이미지를 바라볼 수 있다. 모노스코픽 터칭 모드에서, 사용자는 투명 평판(130) 상에 디스플레이되는 모노스코픽 이미지를 이용하여 객체(170)를 제어할 수 있다.
프로세서(300)는 투명 평판(130)으로부터 거리가 떨어져 있는(예를 들어, 원거리에 있는) 객체(170)를 역투영한 역투영 이미지를 투명 평판(130)으로 디스플레이 함으로써, 사용자가 투명 평판(130)을 터치하는 등의 방법으로, 증강 현실(AR), 가상 현실(VR), 혼합 현실(MR), 또는 확장 현실(XR)에서 객체(170)와 상호작용하는 방법을 제공할 수 있다.
프로세서(300)는 메모리(200)에 저장된 데이터를 처리할 수 있다. 프로세서(300)는 메모리(200)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(300)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
프로세서(300)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
투명 평판(130)은 투명한 판 모양일 수 있다. 투명 평판(130)은 영상 처리 장치(100)와 통신을 수행할 수 있다.
센서(150)는 사용자를 센싱할 수 있다. 예를 들어, 센서(150)는 사용자의 손과 투명 평판(130) 사이의 거리를 센싱할 수 있다. 센서(150)는 사용자를 센싱한 정보, 예를 들어 사용자의 손과 투명 평판(130) 사이의 거리에 대한 정보를 영상 처리 장치(150)의 프로세서(300)로 전송할 수 있다.
센서(150)는 영상 처리 장치(150) 또는 투명 평판(130)에 구현될 수 있다. 또한, 센서(150)는 영상 처리 장치(100) 또는 투명 평판(130)의 외부에 별개로 구현될 수도 있다.
상술한 바와 같이, 사용자가 객체(170)와 객체(170)의 주변과 보다 나은 상호작용을 할 수 있도록, 영상 처리 장치(100)는 사용자가 투명 평판(130)을 이용하여 원거리에 위치하는 객체(170) 및 객체의 주변 영역 중에서 적어도 하나를 직접 터치할 수 있는 방법을 제공할 수 있다.
영상 처리 장치(100)는 HMD(head mounted display) 기반 몰입형 현실(증강 현실 또는 가상 현실)에서 스마트폰 기반 모바일 현실(증강 현실 또는 가상 현실)과 유사하게 양안 시차 없이 원거리에 위치하는 객체(170)를 직접 터치할 수 있는 사용자 인터페이스를 사용자에게 제공하는 것이다.
도3a 내지 도 3d는 영상 처리 장치가 투명 평판을 이용하여 영상을 처리하는 동작의 개념을 개략적으로 설명하기 위한 도면이다.
각 도면은 영상 처리 장치(100)가 구현하는 몰입형 세계(예를 들어, AR, VR, MR, 또는 XR 등)에서, 사용자가 영상 처리 장치(100)를 이용하여 객체(170)와 상호작용하는 동작의 과정들을 도시하고 있다.
도 3a는 사용자가 투명 평판(130) 없이 원거리의 객체(170)와 상호작용을 수행하려 하는 상황을 나타낸다. 이 경우, 사용자는 햅틱 피드백(haptic feedback)의 부재 및 양안 시차의 발생으로 인해, 객체(170)와의 직접적인 상호작용에 있어서 어려움을 겪을 수 있다. 예를 들어, 사용자가 손(400)으로 객체(170)을 선택하려고 할 때, 양안 시차로 인해 사용자의 손(400)은 정확하게 객체(170)를 가리킬 수 없다.
도 3b는 사용자가 투명 평판(130)을 통해 객체(170)를 바라보는 상황을 나타내는 도면이다. 사용자는 투명 평판(130)을 통해 객체(170)를 입체적으로(stereoscopic) 바라볼 수 있다. 이 경우, 양안 시차로 인해 원거리의 객체(170) 보다 상대적으로 가까운 거리에 있는 투명 평판(130)은 사용자에게 초점이 맞지 않게 보일 수 있다.
도 3c는 사용자가 객체(170)와 상호작용을 수행하기 위해 사용자의 손(400)을 투명 평판(130)에 근접시키는 동작을 나타내는 도면이다. 영상 처리 장치(100)는 사용자의 주 손(dominant hand, 400)이 투명 평판(130)으로 접근할 때 객체(170)를 투명 평판(130)으로 역투영한 역투영 이미지를 투명 평판(130)으로 디스플레이 할 수 있다. 영상 처리 장치(100)는 주 손(400)이 투명 평판(130)에 근접하면 애니매이티드 플래트닝(animated flattening)을 수행할 수 있다. 즉, 영상 처리 장치(100)는 주 손(400)이 투명 평판(130)에 근접할수록 객체(170)를 점진적으로 평평하게 만들면서 투명 평판(130)으로 디스플레이 할 수 있다.
도 3d는 사용자가 투명 평판(130)을 이용하여 객체(170)와 상호작용하는 상황을 나타내는 도면이다. 영상 처리 장치(100)는 사용자의 주 손(400)이 투명 평판(130)과 일정 거리 이하로 근접한 경우, 객체(170)을 투명 평판(130)으로 역투영한 모노스코픽(monoscopic) 이미지를 투명 평판(130)에 디스플레이 할 수 있다. 예를 들어, 영상 처리 장치(100)는 사용자의 주 손(400)이 투명 평판을 터치한 경우, 객체(170)을 투명 평판(130)으로 역투영한 모노스코픽(monoscopic) 이미지를 투명 평판(130)에 디스플레이 할 수 있다. 이 때, 사용자는 햅틱 피드백을 가지며, 양안 시차 없이 객체(170)와 상호작용 할 수 있다.
도 4a는 영상 처리 장치의 제1 동작 모드에서 영상 처리 장치의 동작을 설명하기 위한 도면이다.
영상 처리 장치(100)는 제1 동작 모드인 스테레오스코픽 뷰잉 모드로 동작할 수 있다. 사용자가 보조 손(non-dominant hand)으로 투명 평판(130)을 단순히 잡고 있을 때, 영상 처리 장치(100)는 스테레오스코픽 뷰잉 모드로 동작 할 수 있다.
사용자는 스테레오스코픽 뷰잉 모드에서 투명 평판(130)을 통해 객체(170)를 입체적으로(stereoscopically) 바라볼 수 있다. 즉, 스테레오스코픽 뷰잉 모드에서, 사용자가 투명 평판(130)를 통해 바라보는 객체(170)와 투명 평판(130) 없이 바라보는 객체(170)는 동일하다.
따라서, 사용자는 원거리의 객체(170)를 두 눈으로 응시하면서, 객체(170)에서 눈을 떼지 않은 상태로 투명 평판(130)을 눈 높이까지 들어 올릴 수 있다.
도 4b는 영상 처리 장치의 제2 동작 모드에서 영상 처리 장치의 동작을 설명하기 위한 도면이다.
영상 처리 장치(100)는 제2 동작 모드인 모노스코픽 터칭 모드로 동작할 수 있다. 사용자가 주 손(400)을 투명 평판(130)에 근접시켜, 주 손(400)과 투명 평판(130) 사이의 거리가 임계값(예를 들어, 2cm) 이하가 된 경우, 영상 처리 장치(100)는 모노스코픽 터칭 모드로 동작 할 수 있다.
모노스코픽 터칭 모드에서, 영상 처리 장치(100)는 객체(170)를 투명 평판(130)으로 역투영한 모노스코픽 이미지(175)를 투명 평판(130) 상에 디스플레이 할 수 있다. 모노스코픽 이미지(175)는 객체(170)를 사용자의 두 눈 사이의 중심점을 기준으로 투명 평판(130)으로 역투영한 이미지이다.
즉, 모노스코픽 터칭 모드에서 투명 평판(130)은, 시점이 보정된 모노스코픽 이미지(175)를 디스플레이하여 사용자에게 투명한 것처럼 시뮬레이션하는 불투명한 평판으로 동작한다. 이때, 사용자는 투명 평판(130)에 디스플레이된 모노스코픽 이미지(175)를 이용하여, 양안 시차의 영향 없이 객체(170)와 상호작용할 수 있다. 예를 들어, 사용자는 투명 평판(130)의 표면을 터치(touch), 스와이프(swipe), 또는 핀치(pinch)하여 객체(170)와 상호작용 할 수 있다.
도 5는 영상 처리 장치의 동작 모드 전환 시 영상 처리 동작을 설명하기 위한 도면이다.
영상 처리 장치(100)는 사용자의 주 손(400)이 투명 평판(130)에 접근함에 따라, 객체(170)를 점진적으로 평평하게 만들어 투명 평판(130)으로 역투영 시킬 수 있다. 이와 같은 방식으로 영상 처리 장치(100)는 매끄러운 모드 전환을 위한 애니매이티드 플래트닝(animated flattening) 영상 처리 동작을 수행할 수 있다.
스테레오스코픽 뷰잉 모드에서, 객체(170)는 원래 부피를 유지하며, 사용자는 입체적으로 객체(170)를 볼 수 있다. 모노스코픽 터칭 모드에서 객체(170)는 투명 평판(130)으로 역투영되어 평평하게 투명 평판(130)에 디스플레이 된다. 즉, 모노스코픽 터칭 모드에서 투명 평판(130)에 디스플레이 되는 모노스코픽 이미지(175)의 객체(170)는 평평하게 디스플레이 된다. 따라서, 시점이 정렬되더라도, 영상 처리 장치(100)가 스테레오스코픽 뷰잉 모드에서 모노스코픽 터칭 모드로 전환할 때, 급격한 변화로 인한 시각적인 혼란이 발생하며 사용자의 눈의 피로가 유발될 수 있다. 영상 처리 장치(100)의 애니매이티드 플래트닝(animated flattening) 영상 처리 동작은 이런 부작용을 보완할 수 있다.
영상 처리 장치(100)는 사용자의 주 손(400)이 투명 평판(130)으로 근접함에 따라 점진적으로 객체(170)의 평탄도를 증가시킨 역투영 이미지(173)를 투명 평판(130)에 디스플레이 할 수 있다. 영상 처리 장치(100)는 객체(170)의 평탄도를 사용자의 주 손(400)과 투명 평판(130) 사이의 거리에 매핑하여, 주 손(400)이 투명 평판(130)에 접근하면 객체(170)가 더 평평해진 역투영 이미지(173)를 투명 평판(130)에 디스플레이 하고, 주 손(400)이 투명 평판(130)과 멀어지면 객체(170)가 덜 평평해진 역투영 이미지(173)를 투명 평판(130)에 디스플레이 할 수 있다.
영상 처리 장치(100)는 사용자의 두 눈 사이의 중심점과 객체(130)의 버텍스들을 연결하는 직선을 따라 객체(170)가 겉보기 크기를 유지하며 투명 평판(130)의 방향으로 이동하여 역투영된 역투영 이미지를 투명 평판(130)에 디스플레이 하거나, 원래 위치 방향으로 되돌아가 역투영된 객체(170)의 역투영 이미지를 투명 평판(130)에 디스플레이 할 수 있다. 아래 수학식 1과 같이 선형 비율로 객체(170)를 이동시킬 경우, 사용자의 왼쪽 눈 및 오른쪽 눈의 시점에서 서로 다른 비선형 비율로 이동하는 것처럼 디스플레이 되므로, 전환 과정이 불안정하고 왜곡되어 보일 수 있다. 따라서, 영상 처리 장치(100)는 수학식 2와 같이 비선형 비율로 객체(170)를 이동시켜, 사용자가 보는 역투영 이미지(173)에서 객체(170)를 선형으로 이동시킨다.
Figure PCTKR2020016338-appb-img-000001
수학식 1 및 수학식 2에서, F는 사용자의 주 손(400)과 투명 평판(130) 사이 거리에 비례하는 평탄도로 0에서 1사이 값이고, v는 전환 중 버텍스의 위치이고, v 0는 원래 버텍스의 위치이고, v 1은 완전히 평평해진 버텍스의 위치이고, p는 투명 평판(130)의 중심 위치이고, m은 사용자의 두 눈 사이 중심점의 위치이고, n p는 투명 평판(130)의 법선 벡터(normal)이다.
도 6a 및 도 6b는 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 방법을 적용할 수 있는 애플리케이션의 일 예를 설명하기 위한 도면이다.
도 6a 및 도 6b에서는 투명 평판을 이용하여 영상을 처리하는 방법을 AR 카메라 애플리케이션에 적용한 경우를 설명한다.
도 6a을 참조하면, 영상 처리 장치(100)는 AR 카메라에 이용될 수 있다. 사용자는 캡처(capture)하고자 하는 영역이 투명 평판(130)을 통해 보이도록 투명 평판(130)을 위치시킬 수 있고, 영상 처리 장치(100)는 사용자가 투명 평판(130)을 통해 보는 영역을 역투영 하여 역투영된 모노스코픽 이미지를 투명 평판(130)에 디스플레이 시킬 수 있다. 사용자는 투명 평판(130)에 디스플레이 된 모노스코픽 이미지를 캡처(capture)하여 AR 카메라로 이용할 수 있다.
사용자는 투명 평판(130)을 눈에 가까이 또는 멀리 이동시켜 뷰 프러스텀(view frustum)의 더 넓은 영역 또는 더 좁은 영역을 캡처할 수 있다. 예를 들어, 사용자는 투명 평판(130)을 눈에 가깝게 이동시켜 줌-인(zoom-in)할 수 있고, 눈에서 멀게 이동시켜 줌-아웃(zoom-out) 할 수 있다.
도 6b를 참조하면, 영상 처리 장치(100)를 이용하지 않을 경우, 양안 시차로 인해 캡처할 영역이 불명확해질 수 있음을 알 수 있다. 영상 처리 장치(100)는 이와 같은 문제를 해결 하여 프레임의 정의를 명확하게 할 수 있다.
도 7a 및 도 7b는 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 방법을 적용할 수 있는 애플리케이션의 다른 예를 설명하기 위한 도면이다.
도 7a 및 도 7b에서는 투명 평판을 이용하여 영상을 처리하는 방법을 이용한 AR 웹 브라우징에 적용한 경우를 설명한다.
영상 처리 장치(100)는 AR 웹 브라우징(AR web browsing)에 이용될 수 있다. 영상 처리 장치(100)를 이용할 경우 AR 웹 브라우징 윈도우의 작고 멀리 떨어져 있는 UI(user interface) 요소를 빠르고 정확하게 선택할 수 있다. 사용자는 투명 평판(130)에 디스플레이된 AR 웹 브라우징 윈도우을 터치하는 등의 제스처를 이용하여 UI 요소와 상호작용할 수 있다. 예를 들어, 사용자는 투명 평판(130)을 이용해 AR 웹 브라우징 윈도우의 스크롤을 제어하거나 줌-인 또는 줌-아웃을 수행할 수 있다.
도 8a 및 도 8b는 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 방법을 적용할 수 있는 애플리케이션의 또 다른 예를 설명하기 위한 도면이다.
도 8a 및 도 8b에서는 투명 평판을 이용하여 영상을 처리하는 방법을 AR IoT 애플리케이션 및 로봇 프로그래밍 애플리케이션에 적용한 경우를 설명한다.
영상 처리 장치(100)는 AR 사물 인터넷(IoT) 및 로봇 프로그래밍에 이용될 수 있다. 사용자는 영상 처리 장치(100)를 이용하여, 스마트 객체(smart object) 사이에 선을 그어 객체 간 기능적 관계를 정의 할 수 있다. 예를 들어, 사용자는 영상 처리 장치(100)에 의해 투명 평판(130)에 디스플레이된 스마트 객체 사이를 스와이프(swipe)하여 객체 간 기능적 관계를 설정할 수 있다.
또한, 사용자는 영상 처리 장치(100)를 이용하여, 이동 로봇(mobile robots) 및 드론(drone)의 공간적 동작을 제어 할 수 있다. 예를 들어, 사용자는 영상 처리 장치(100)에 의해 투명 평판(130)에 디스플레이된 이동 로봇 또는 드론을 터치 또는 스와이프하여 원하는 위치로 이동 시킬 수 있다.
도 9a 및 도 9b는 일 실시예에 따른 투명 평판을 이용하여 영상을 처리하는 방법을 적용할 수 있는 애플리케이션의 또 다른 예를 설명하기 위한 도면이다.
도 9a 및 도 9b에서는 투명 평판을 이용하여 영상을 처리하는 방법을 AR 스케칭 애플리케이션에 적용한 경우를 설명한다.
영상 처리 장치(100)는 AR 3D 스케칭에 이용될 수 있다. 사용자는 영상 처리 장치(100)에 의해 투명 평판(130)에 디스플레이된 모노스코픽 이미지 위에 스케칭을 수행할 수 있다. 사용자는 모노스코픽 터칭 모드에서 투명 평판(130) 위에 스케칭을 할 수 있으며, 스테레오스코픽 뷰잉 모드에서 3D 스케치를 실시간으로 점검할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (20)

  1. 사용자를 센싱한 정보를 획득하는 단계; 및
    상기 정보에 기초하여 투명 평판을 통해 보이는 적어도 하나의 객체를 상기 투명 평판으로 역투영한 이미지를 상기 투명 평판으로 디스플레이하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 디스플레이하는 단계는,
    상기 적어도 하나의 객체의 스테레오스코픽(stereoscopic) 이미지를 포함하는 상기 이미지를 디스플레이하는 단계
    를 포함하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 디스플레이하는 단계는,
    상기 적어도 하나의 객체의 모노스코픽(monoscopic) 이미지를 포함하는 상기 이미지를 디스플레이하는 단계
    를 포함하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 이미지는,
    상기 적어도 하나의 객체의 겉보기 크기를 유지하면서 역투영한 이미지인 영상 처리 방법.
  5. 제1항에 있어서,
    상기 센싱한 정보는,
    상기 사용자의 손과 상기 투명 평판 간의 거리를 포함하는 영상 처리 방법.
  6. 제5항에 있어서,
    상기 디스플레이하는 단계는,
    상기 거리가 가까워질수록 상기 적어도 하나의 객체를 점진적으로 평평하게 만드는 상기 이미지를 디스플레이하는 단계
    를 포함하는 영상 처리 방법.
  7. 제5항에 있어서,
    상기 디스플레이하는 단계는,
    상기 거리가 멀어질수록 상기 적어도 하나의 객체를 점진적으로 부피감을 갖도록 만드는 상기 이미지를 디스플레이 하는 단계
    를 포함하는 영상 처리 방법.
  8. 제5항에 있어서,
    상기 디스플레이하는 단계는,
    상기 거리가 임계값 이하일 경우, 상기 적어도 하나의 객체의 모노스코픽(monoscopic) 이미지를 포함하는 상기 이미지를 상기 투명 평판 상에 디스플레이하는 단계
    를 포함하는 영상 처리 방법.
  9. 제1항에 있어서,
    상기 이미지를 이용하여 상기 적어도 하나의 객체 및 상기 적어도 하나의 객체의 주변 중에서 적어도 하나를 제어하는 단계
    를 더 포함하는 영상 처리 방법.
  10. 하드웨어와 결합되어 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  11. 인스트럭션들을 포함하는 메모리; 및
    상기 인스트럭션들을 실행하기 위한 프로세서
    를 포함하고,
    상기 프로세서에 의해 상기 인스트럭션들이 실행될 때, 상기 프로세서는,
    사용자를 센싱한 정보에 기초하여 투명 평판을 통해 보이는 적어도 하나의 객체를 상기 투명 평판으로 역투영한 이미지를 상기 투명 평판으로 디스플레이하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 객체의 스테레오스코픽(stereoscopic) 이미지를 포함하는 상기 이미지를 디스플레이하는 영상 처리 장치.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 객체의 모노스코픽(monoscopic) 이미지를 포함하는 상기 이미지를 디스플레이하는 영상 처리 장치.
  14. 제11항에 있어서,
    상기 이미지는,
    상기 적어도 하나의 객체의 겉보기 크기를 유지하면서 역투영한 이미지인 영상 처리 장치.
  15. 제11항에 있어서,
    상기 센싱한 정보는,
    상기 사용자의 손과 상기 투명 평판 간의 거리를 포함하는 영상 처리 장치.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 거리가 가까워질수록 상기 적어도 하나의 객체를 점진적으로 평평하게 만드는 상기 이미지를 디스플레이하는 영상 처리 장치.
  17. 제15항에 있어서,
    상기 프로세서는,
    상기 거리가 멀어질수록 상기 적어도 하나의 객체를 점진적으로 부피감을 갖도록 만드는 상기 이미지를 디스플레이하는 영상 처리 장치.
  18. 제15항에 있어서,
    상기 프로세서는,
    상기 거리가 임계값 이하일 경우, 상기 적어도 하나의 객체의 모노스코픽(monoscopic) 이미지를 포함하는 상기 이미지를 상기 투명 평판 상에 디스플레이하는 영상 처리 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    상기 이미지를 이용하여 상기 적어도 하나의 객체 및 상기 적어도 하나의 객체의 주변 중에서 적어도 하나를 제어하는 영상 처리 장치.
  20. 제11항에 있어서,
    상기 사용자를 센싱하기 위한 센서는 상기 투명 평판 및 상기 영상 처리 장치 중에서 적어도 하나에 위치하는 영상 처리 장치.
PCT/KR2020/016338 2019-11-29 2020-11-19 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치 WO2021107499A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/780,905 US20230127260A1 (en) 2019-11-29 2020-11-19 Image processing method using transparent flat plate, and apparatus for performing same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0157199 2019-11-29
KR1020190157199A KR102359601B1 (ko) 2019-11-29 2019-11-29 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치

Publications (1)

Publication Number Publication Date
WO2021107499A1 true WO2021107499A1 (ko) 2021-06-03

Family

ID=76130281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/016338 WO2021107499A1 (ko) 2019-11-29 2020-11-19 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치

Country Status (3)

Country Link
US (1) US20230127260A1 (ko)
KR (1) KR102359601B1 (ko)
WO (1) WO2021107499A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243743A1 (en) * 2009-10-05 2012-09-27 Alain Pastor Device for interaction with an augmented object
KR20120133648A (ko) * 2011-05-31 2012-12-11 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
KR20140142337A (ko) * 2012-03-28 2014-12-11 마이크로소프트 코포레이션 증강 현실 광 가이드 디스플레이
KR20150064761A (ko) * 2013-11-29 2015-06-12 삼성전자주식회사 투명 디스플레이를 포함하는 전자 장치 및 제어 방법
KR20160016964A (ko) * 2013-06-03 2016-02-15 데크리, 엘엘씨 실질 세계 객체 조작에 기초한 데이터 조작

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455745B1 (ko) * 2013-06-28 2014-11-03 한국과학기술원 양안 시차가 문제되는 투명 디스플레이에서의 선택을 가능하게 하는 양안의 커서
US9934573B2 (en) * 2014-09-17 2018-04-03 Intel Corporation Technologies for adjusting a perspective of a captured image for display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243743A1 (en) * 2009-10-05 2012-09-27 Alain Pastor Device for interaction with an augmented object
KR20120133648A (ko) * 2011-05-31 2012-12-11 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
KR20140142337A (ko) * 2012-03-28 2014-12-11 마이크로소프트 코포레이션 증강 현실 광 가이드 디스플레이
KR20160016964A (ko) * 2013-06-03 2016-02-15 데크리, 엘엘씨 실질 세계 객체 조작에 기초한 데이터 조작
KR20150064761A (ko) * 2013-11-29 2015-06-12 삼성전자주식회사 투명 디스플레이를 포함하는 전자 장치 및 제어 방법

Also Published As

Publication number Publication date
KR102359601B1 (ko) 2022-02-08
KR20210067503A (ko) 2021-06-08
US20230127260A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
CN107491174A (zh) 用于远程协助的方法、装置、系统及电子设备
US10866820B2 (en) Transitioning between 2D and stereoscopic 3D webpage presentation
WO2020262923A1 (en) System and method for generating a mixed reality experience
JP7005161B2 (ja) 電子機器及びその制御方法
EP3028123A1 (en) Electronic device and method of recognizing input in electronic device
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
WO2021097600A1 (zh) 一种隔空交互方法、装置和设备
KR20230025909A (ko) 증강 현실 안경류 3d 페인팅
WO2017126741A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2020130356A1 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
WO2018080142A1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2019078632A1 (ko) 증강현실 및 가상현실 내 투영기하를 사용한 3d 윈도우 관리 기법
WO2018052231A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치
US20180205939A1 (en) Stereoscopic 3D Webpage Overlay
EP3519927A1 (en) Display operating method and electronic device supporting the same
WO2018076454A1 (zh) 一种数据处理方法及其相关设备
WO2019135634A1 (en) Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
WO2021107499A1 (ko) 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치
US10591986B2 (en) Remote work supporting system, remote work supporting method, and program
WO2016088922A1 (ko) 모바일 디바이스 및 웨어러블 디바이스를 이용한 인터페이스 제공 방법
Shin et al. Incorporating real-world object into virtual reality: using mobile device input with augmented virtuality
WO2019203591A1 (en) High efficiency input apparatus and method for virtual reality and augmented reality
JP7005160B2 (ja) 電子機器及びその制御方法
WO2018186004A1 (ja) 電子機器及びその制御方法
CN118103794A (zh) 双片上系统眼镜

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20894069

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20894069

Country of ref document: EP

Kind code of ref document: A1