WO2021172221A1 - オブジェクト認識システム及び受信端末 - Google Patents

オブジェクト認識システム及び受信端末 Download PDF

Info

Publication number
WO2021172221A1
WO2021172221A1 PCT/JP2021/006432 JP2021006432W WO2021172221A1 WO 2021172221 A1 WO2021172221 A1 WO 2021172221A1 JP 2021006432 W JP2021006432 W JP 2021006432W WO 2021172221 A1 WO2021172221 A1 WO 2021172221A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
recognition
receiving terminal
terminal
Prior art date
Application number
PCT/JP2021/006432
Other languages
English (en)
French (fr)
Inventor
真治 木村
林　宏樹
泰士 山本
後藤　修
大関　江利子
幹生 岩村
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2022503345A priority Critical patent/JP7389222B2/ja
Publication of WO2021172221A1 publication Critical patent/WO2021172221A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Definitions

  • This disclosure relates to an object recognition system and a receiving terminal.
  • a technique for identifying an object such as a person or a device and displaying an augmented reality related to the object is known (see, for example, Patent Document 1).
  • the object can be identified by, for example, photographing the object with a device equipped with a camera, an object recognition technique using image processing, or the like.
  • the present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to provide an object recognition system and a receiving terminal capable of reducing labor for identifying an object.
  • the object recognition system includes a transmitting terminal and a receiving terminal that perform self-position estimation, and the transmitting terminal captures an image of a first imaging unit that captures an object and an object captured by the first imaging unit.
  • Object information that associates the recognition unit and the object image-recognized by the recognition unit with the metadata related to the augmented reality display according to the recognition result and the position of the object derived in consideration of the self-position estimation result.
  • the receiving terminal includes a second receiving unit that receives the object information from the intermediary device, and a self-position estimation result.
  • the augmented reality display based on the metadata included in the object information is performed. It is provided with a display unit.
  • metadata related to augmented reality display is acquired from an object imaged by a transmitting terminal and image-recognized.
  • the position of the object is derived in consideration of the self-position estimation result of the transmitting terminal.
  • the object information associated with the metadata and the position of the object is transmitted to the receiving terminal via the intermediary device. Further, when the receiving terminal reaches the position corresponding to the position of the object included in the object information, the augmented reality display based on the metadata included in the object information is performed.
  • the metadata of the object and the position of the object are shared as object information from the transmitting terminal to the receiving terminal, and when the receiving terminal reaches the position corresponding to the position of the object, the receiving terminal receives the object information.
  • the receiving terminal will display the information about the object related to the object information.
  • the receiving terminal identifies the object without performing image recognition of the object related to the object information.
  • the object information of an object that cannot be image-recognized by the receiving terminal is also shared from the transmitting terminal to the receiving terminal. Therefore, the object can be specified more efficiently.
  • the labor related to the identification of the object can be reduced.
  • FIG. 1 is a block diagram showing a functional configuration of the object recognition system 1 according to the embodiment.
  • the transmitting terminal 10 shares the metadata related to the augmented reality display according to the image recognition result of the object and the position of the object to the receiving terminal 30, and the receiving terminal 30 performs image recognition related to the object.
  • It is a system that displays augmented reality related to the object on the receiving terminal 30 without any problem.
  • Objects are various objects.
  • An object is an object that is stationary (or the amount of movement within a predetermined period is negligibly small) (hereinafter referred to as "static object"), and the amount of movement within a predetermined period is predetermined. It can include both objects that are greater than the value (hereinafter referred to as "dynamic objects").
  • the object recognition system 1 includes a transmitting terminal 10 (first terminal) and a receiving terminal 30 (second terminal).
  • the transmitting terminal 10 and the receiving terminal 30 are connected to the network N so as to be able to communicate with each other.
  • the transmitting terminal 10 and the receiving terminal 30 may each be composed of a plurality of units.
  • the transmission terminal 10 is a communication terminal capable of communicating with the network N, and may be composed of, for example, a smartphone, a tablet terminal, a wearable terminal, a portable game machine, or the like.
  • the transmitting terminal 10 can perform self-position estimation.
  • the self-position estimation is to estimate where the terminal itself currently exists, and can be realized by a technique such as SLAM (Simultaneous Localization And Mapping).
  • SLAM is a technology that performs self-position estimation and environment map creation in parallel by using cameras, various sensors, encoders, and the like.
  • a specific example of SLAM is Visual SLAM using an image captured by a camera.
  • the transmitting terminal 10 can acquire the position, orientation, and the like of the transmitting terminal 10 from the self-position estimation result.
  • the transmission terminal 10 includes a first imaging unit 11, a recognition unit 12, a specific unit 13, and a transmission unit 14.
  • the first imaging unit 11 is a functional element that images an object. More specifically, the first imaging unit 11 can capture an image of the object and acquire time information indicating the imaging date and time of the image.
  • the image may contain multiple objects.
  • the recognition unit 12 is a functional element that recognizes an object imaged by the first image pickup unit 11.
  • the method of image recognition is not limited. By performing image recognition, identification information of an object (information indicating what the object is) is specified.
  • the identification unit 13 associates the metadata related to the augmented reality display according to the recognition result with the object position derived in consideration of the self-position estimation result for the object image-recognized by the recognition unit 12. It is a functional element that identifies.
  • the identification unit 13 specifies the metadata related to the augmented reality display based on the image recognition result by the recognition unit 12.
  • the metadata includes, for example, object identification information, object attributes, and information related to the augmented reality display of an object.
  • the object identification information is information indicating what the object is (for example, "television”).
  • the attribute of the object is information indicating the category of the object (for example, "electrical appliance").
  • the information related to the augmented reality display of the object is information such as the content of the augmented reality display and the position of the augmented reality display (where the augmented reality display is performed with respect to the object).
  • the identification unit 13 specifies the position of the object based on the self-position estimation result.
  • the identification unit 13 can acquire the position of the object because the distance between the transmission terminal 10 and the object can be grasped based on the position and orientation of the transmission terminal 10 acquired by self-position estimation, for example.
  • the position of the object may be represented by, for example, coordinates, a distance from the transmitting terminal 10, or the like.
  • the specific unit 13 uses information that associates the specified metadata with the position of the object as object information.
  • the transmission unit 14 is a functional element that transmits the object information specified by the specific unit 13 to the intermediary device 20.
  • the timing of transmission is not limited, and may be, for example, periodic or each time object information is specified.
  • the intermediary device 20 is a device on the network N that transmits (intermediates) object information and the like received from the transmitting terminal 10 to the receiving terminal 30, and may be composed of, for example, a cloud computing device or a group of devices.
  • the configurations of the intermediary device 20 and the network N are not limited.
  • the receiving terminal 30 is a communication terminal capable of communicating with the network N, and may be composed of, for example, a smartphone, a tablet terminal, a wearable terminal, a portable game machine, or the like.
  • the receiving terminal 30 can perform self-position estimation in the same manner as the transmitting terminal 10.
  • the receiving terminal 30 and the transmitting terminal 10 may grasp each other's positions by sharing their own position estimation results with each other.
  • the receiving terminal 30 and the transmitting terminal 10 may be grouped (or paired), for example, when the positions of each other can be grasped. Then, the object information may be shared only between the grouped terminals.
  • the transmitting terminal 10 and the receiving terminal 30 may be terminals having the same function as each other, or may be both a transmitting terminal 10 and a receiving terminal 30.
  • the receiving terminal 30 includes a second receiving unit 31, a second imaging unit 32, and a display unit 33.
  • the second receiving unit 31 is a functional element that receives object information from the intermediary device 20.
  • the timing of receiving is not limited, and may be, for example, periodic, or may be the timing when the position or orientation of the receiving terminal 30 is changed.
  • the object information to be received may be, for example, object information within a predetermined range from the position of the receiving terminal 30 with reference to the position of the object included in the object information.
  • the second imaging unit 32 is a functional element that images an object. More specifically, the second imaging unit 32 can capture an image of the object and acquire time information indicating the imaging date and time of the image.
  • the image may contain multiple objects.
  • the display unit 33 is a functional element that performs augmented reality display based on the metadata included in the object information based on the self-position estimation result and the position of the object included in the object information received by the second receiving unit 31. Based on the self-position estimation result and the position of the object included in the object information received by the second receiving unit 31, the display unit 33 adds the object information to the object information when the receiving terminal 30 reaches the position corresponding to the position of the object. Augmented reality display based on the included metadata may be performed. The display unit 33 derives the coordinate system of the region imaged by the second imaging unit 32 in consideration of the self-position estimation result, and the position of the object included in the object information received by the second receiving unit 31 is set.
  • augmented reality display based on the metadata included in the object information may be performed at the position.
  • the augmented reality display of the position of the object is not limited, and may be indicated by any or a combination of symbols such as directions, distances, and arrows, frames, highlights, and characters.
  • FIG. 2 is a flowchart showing an example of processing performed by the transmitting terminal 10.
  • the object to be recognized will be described as a television.
  • the transmitting terminal 10 executes self-position estimation (step S11).
  • the transmitting terminal 10 acquires, for example, the position and orientation of the transmitting terminal 10 in the building from the self-position estimation result.
  • the first imaging unit 11 images an object (step S12). For example, when the television is present in the direction (within the angle of view) of the transmitting terminal 10, the image of the television is acquired by the first imaging unit 11.
  • the recognition unit 12 recognizes an object imaged by the first image pickup unit 11 (step S13).
  • the recognition unit 12 executes image recognition on, for example, a television image, and acquires metadata related to augmented reality display.
  • the metadata may include, for example, information such as identification information for identifying the television, attributes indicating the television, and the like.
  • the identification unit 13 associates the metadata related to the augmented reality display according to the recognition result with the object position derived in consideration of the self-position estimation result for the object image-recognized by the recognition unit 12. Is specified (step S14).
  • the transmitting terminal 10 acquires the position of the television by grasping the distance between the transmitting terminal 10 and the television with reference to the position and orientation of the transmitting terminal 10 in the building, for example.
  • the identification unit 13 identifies object information that associates the metadata of the television with the position of the television.
  • the transmission unit 14 transmits the object information specified by the specific unit 13 to the intermediary device 20 (step S15).
  • FIG. 3 is a flowchart showing an example of processing performed by the receiving terminal 30. Similar to FIG. 2, FIG. 3 describes an object to be recognized as a television. FIG. 3 will also be described assuming that the receiving terminal 30 exists in the same building as the transmitting terminal 10 described with reference to FIG. In FIG. 3, it is assumed that the receiving terminal 30 is performing imaging of an arbitrary object by the second imaging unit 32.
  • the receiving terminal 30 executes self-position estimation (step S21).
  • the receiving terminal 30 acquires, for example, the position and orientation of the receiving terminal 30 in the building from the self-position estimation result.
  • the second receiving unit 31 receives the object information from the intermediary device 20 (step S22).
  • the display unit 33 derives the coordinate system of the region imaged by the second imaging unit 32 in consideration of the self-position estimation result, and the position of the object included in the object information received by the second receiving unit 31 is set. , When included in the coordinate system, augmented reality display based on the metadata included in the object information is performed at the position (step S23).
  • the display unit 33 may perform augmented reality display by arrows, characters, or the like so as to indicate the position of the television included in the object information, for example.
  • the receiving terminal 30 does not have to perform imaging by the second imaging unit 32.
  • the display unit 33 Based on the self-position estimation result and the position of the object included in the object information received by the second receiving unit 31, the display unit 33 adds the object information to the object information when the receiving terminal 30 reaches the position corresponding to the position of the object.
  • Augmented reality display based on the included metadata may be performed. For example, when there is no television in the direction of the receiving terminal 30, the display unit 33 may perform augmented reality display by a message or the like urging the receiving terminal 30 to point in the orientation in which the television exists.
  • FIG. 4 is a diagram showing an example of augmented reality display according to the embodiment.
  • FIG. 4 shows that as a result of imaging and image recognition of an object (for example, a PET bottle) by the transmitting terminal 10, metadata including information indicating a “black tea PET bottle” has been acquired.
  • the receiving terminal 30 receives the object information specified by associating the metadata of the PET bottle recognized by the transmitting terminal 10 with the position of the PET bottle via the intermediary device 20.
  • the receiving terminal 30 derives the coordinate system of the region imaged by the second imaging unit 32 in consideration of the self-position estimation result.
  • the receiving terminal 30 also determines whether or not the position of the PET bottle included in the received object information is included in the coordinate system.
  • the receiving terminal 30 can perform the augmented reality display of the object being imaged without executing the object recognition by using the object information transmitted from the transmitting terminal 10.
  • the object recognition system 1 includes a transmitting terminal 10 and a receiving terminal 30 that perform self-position estimation, and the transmitting terminal 10 is imaged by a first imaging unit 11 that images an object and a first imaging unit 11.
  • the recognition unit 12 that recognizes the object as an image and the object that has been image-recognized by the recognition unit 12, the position of the object derived in consideration of the metadata related to the extended reality display according to the recognition result and the self-position estimation result.
  • the receiving terminal 30 includes a specific unit 13 that specifies the object information associated with the object, and a transmission unit 14 that transmits the object information specified by the specific unit 13 to the intermediary device 20, and the receiving terminal 30 transmits the object information from the intermediary device 20.
  • a display unit 33 that performs an augmented reality display based on the metadata included in the object information.
  • the metadata related to the augmented reality display is acquired from the object imaged by the transmitting terminal 10 and image-recognized. Further, the position of the object is derived in consideration of the self-position estimation result of the transmitting terminal 10. Then, the object information associated with the metadata and the position of the object is transmitted to the receiving terminal 30 via the intermediary device 20. Further, when the receiving terminal 30 reaches the position corresponding to the position of the object included in the object information, the augmented reality display based on the metadata included in the object information is performed.
  • the metadata of the object and the position of the object are shared as object information from the transmitting terminal 10 to the receiving terminal 30, and when the receiving terminal 30 reaches the position corresponding to the position of the object, the receiving terminal 30 receives the object.
  • the receiving terminal 30 displays the information about the object related to the object information.
  • the receiving terminal 30 identifies the object without performing image recognition of the object related to the object information.
  • the labor for identifying the object can be reduced by eliminating the need for image recognition in the receiving terminal 30.
  • power consumption can be reduced by eliminating the need for image recognition in the receiving terminal 30.
  • the object information of the object that cannot be image-recognized by the receiving terminal 30 is also obtained from the transmitting terminal 10 to the receiving terminal 30. Because it is shared with, the object can be identified more efficiently.
  • the receiving terminal 30 further includes a second imaging unit 32 for imaging an object, and the display unit 33 is imaged by the second imaging unit 32 in consideration of the self-position estimation result.
  • the coordinate system of the region is derived, and the position is included in the metadata included in the object information.
  • the receiving terminal 30 does not execute the object recognition, and the augmented reality display of the object being imaged is made. Further, according to such a configuration, the object imaged by the second imaging unit 32 and the augmented reality display related to the object can be displayed together (together), and the object can be specified more effectively. be able to.
  • the transmission unit 14 may further transmit the identification information of the transmission terminal 10 to the intermediary device 20.
  • the intermediary device 20 may count the number of times the object information is transmitted to the receiving terminal 30 for each identification information of the transmitting terminal 10.
  • the identification information of the transmission terminal 10 may include, for example, a user ID, a device ID that identifies the transmission terminal 10 itself, and the like. With such a configuration, the number of times the object information is transmitted to the receiving terminal 30 is counted for each transmitting terminal 10. The larger the number of transmissions, the more the object information is used in the receiving terminal 30. In other words, the number of transmissions can indicate the degree to which the transmitting terminal 10 has contributed to the receiving terminal 30 by object recognition.
  • the intermediary device 20 may count the number of times the augmented reality display is actually made on the receiving terminal 30.
  • the receiving terminal 30 may be configured to transmit the number of times the augmented reality display is made, information identifying the object information, and the like to the intermediary device 20.
  • the recognition unit 12 may further recognize the classification information indicating a static object or a dynamic object by image recognition.
  • the identification unit 13 may specify the object information in which the classification information recognized by the recognition unit 12 and the time information indicating the imaging date and time imaged by the first imaging unit 11 are further associated.
  • the classification information included in the object information is the object information which is a static object, and the classification information included in the object information is a dynamic object, and the time information included in the object information is predetermined. Only object information within the specified time may be received.
  • the image recognition recognizes the classification information indicating whether the object is a static object or a dynamic object.
  • the object information is shared with the receiving terminal 30.
  • the classification information is a dynamic object
  • only the object information within a predetermined time is shared with the receiving terminal 30 as the time information indicating the imaging date and time. Therefore, the receiving terminal 30 does not receive the object information about the dynamic object captured before the predetermined time.
  • the time information is used as the imaging date and time, it may be, for example, the execution date and time of image recognition by the recognition unit 12, the transmission date and time by the transmission unit 14, and the like.
  • FIG. 5 is a diagram showing the relationship between recognition and sharing of static objects and dynamic objects with time according to the modified example.
  • the square frames in FIG. 5 indicate that the transmitting terminal 10 recognized the static objects A, B, C, D and the dynamic objects A', B', C', D'over time, respectively.
  • the object information to be received by the receiving terminal 30 at each of the time points t1, t2, and t3 will be described.
  • the static object A and the dynamic object A' are recognized.
  • the position of the object does not change even after the recognition time. Therefore, once a static object is recognized, there is no need to specify the object information again.
  • the dynamic object the position of the object may have changed when the receiving terminal 30 receives the object.
  • the receiving terminal 30 may receive the object information related to the dynamic object only if the time information indicating the imaging date and time of the object is within a few seconds, for example. In this case, at the time point t1, the receiving terminal 30 receives the static object A and the dynamic object A'.
  • New static objects B and C are recognized between time points t1 and time points t2. Further, although the dynamic objects B'and C'are recognized between the time points t1 and t2, they are not captured within a predetermined time (for example, within a few seconds) from the time point t2. And. In this case, at the time point t2, the receiving terminal 30 receives the static objects A, B, and C.
  • a new static object D and a dynamic object D' are recognized.
  • the receiving terminal 30 receives the static objects A, B, C, D and the dynamic object D'.
  • the recognition unit 12 may further recognize the classification information indicating a static object or a dynamic object by image recognition.
  • the specific unit 13 only the object whose classification information is a static object is the object information in which the metadata related to the augmented reality display according to the recognition result and the position of the object derived in consideration of the self-position estimation result are associated with each other. May be specified.
  • the image recognition recognizes the classification information indicating whether the object is a static object or a dynamic object. Then, the object information is shared with the receiving terminal 30 only when the classification information is a static object. As a result, the overall processing efficiency of the object recognition system 1 is increased. Further, by excluding the dynamic object whose position may change, the augmented reality display can be performed more accurately on the receiving terminal 30.
  • the second receiving unit 31 may receive only the object information in which the position of the object included in the object information exists in the direction of the receiving terminal 30.
  • the object information existing in the direction (for example, within the angle of view) of the receiving terminal 30 is shared with the receiving terminal 30. This makes it possible to reduce the amount of object information received by the receiving terminal 30. Further, since only the object information of the objects existing in the orientation of the receiving terminal 30 is shared with the receiving terminal 30, the receiving terminal 30 can more accurately identify each object.
  • FIG. 6 is a block diagram showing a functional configuration of the transmission terminal 10 according to the modified example.
  • the transmitting terminal 10 may further include a first receiving unit 15 that receives object information about an object recognized by another transmitting terminal 10 from the intermediary device 20.
  • the recognition unit 12 does not have to recognize the object recognized by the other transmission terminal 10.
  • object information is shared from another transmitting terminal 10 (third terminal) to the transmitting terminal 10 (first terminal).
  • the transmitting terminal 10 (first terminal) does not recognize the object related to the received object information again. Therefore, the transmitting terminal 10 can avoid duplicate processing and can improve the processing efficiency of object recognition.
  • each functional block may be realized by one physically and / or logically coupled device, or directly and / or indirectly by two or more physically and / or logically separated devices. It may be physically (eg, wired and / or wirelessly) connected and implemented by these plurality of devices.
  • the transmitting terminal 10 and the receiving terminal 30 in the above embodiment may function as a computer that processes the transmitting terminal 10 and the receiving terminal 30 in the above embodiment.
  • FIG. 7 is a diagram showing an example of the hardware configuration of the transmitting terminal 10 and the receiving terminal 30 according to the present embodiment.
  • the transmission terminal 10 and the reception terminal 30 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like. good.
  • the word “device” can be read as a circuit, device, unit, etc.
  • the hardware configuration of the transmitting terminal 10 and the receiving terminal 30 may be configured to include one or more of the devices shown in FIG. 1, or may be configured not to include some of the devices.
  • the processor 1001 For each function of the transmitting terminal 10 and the receiving terminal 30, by loading predetermined software (program) on the hardware such as the processor 1001 and the memory 1002, the processor 1001 performs the calculation, and the communication device 1004 communicates with the memory 1002. And by controlling the reading and / or writing of data in the storage 1003.
  • Processor 1001 operates, for example, an operating system to control the entire computer.
  • the processor 1001 may be composed of a central processing unit (CPU: Central Processing Unit) including an interface with peripheral devices, a control device, an arithmetic unit, a register, and the like.
  • CPU Central Processing Unit
  • the processor 1001 reads a program (program code), a software module, and / or data from the storage 1003 and / or the communication device 1004 into the memory 1002, and executes various processes according to these.
  • a program program code
  • a software module software module
  • / or data data from the storage 1003 and / or the communication device 1004 into the memory 1002, and executes various processes according to these.
  • the program a program that causes a computer to execute at least a part of the operations described in the above-described embodiment is used.
  • the first imaging unit 11 of the transmission terminal 10 may be realized by a control program stored in the memory 1002 and operated by the processor 1001, and may be realized for other functional blocks as well.
  • Processor 1001 may be mounted on one or more chips.
  • the program may be transmitted from the network via a telecommunication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of at least one such as a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). May be done.
  • the memory 1002 may be referred to as a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store a program (program code), a software module, or the like that can be executed to implement the object recognition method according to the above embodiment.
  • the storage 1003 is a computer-readable recording medium, and is, for example, an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, an optical magnetic disk (for example, a compact disk, a digital versatile disk, or a Blu-ray). It may consist of at least one (registered trademark) disk), smart card, flash memory (eg, card, stick, key drive), floppy (registered trademark) disk, magnetic strip, and the like.
  • the storage 1003 may be referred to as an auxiliary storage device.
  • the storage medium described above may be, for example, a database, server, or other suitable medium that includes memory 1002 and / or storage 1003.
  • the communication device 1004 is hardware (transmission / reception device) for communicating between computers via a wired and / or wireless network, and is also referred to as, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, a keyboard, a mouse, a microphone, a switch, a button, a sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that outputs to the outside.
  • the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
  • Bus 1007 may be composed of a single bus, or may be composed of different buses between devices.
  • the transmitting terminal 10 and the receiving terminal 30 are hardware such as a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). It may be configured to include hardware, and a part or all of each functional block may be realized by the hardware. For example, processor 1001 may be implemented on at least one of these hardware.
  • the input / output information and the like may be saved in a specific location (for example, memory) or may be managed by a management table. Input / output information and the like can be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made by a value represented by 1 bit (0 or 1), by a boolean value (Boolean: true or false), or by comparing numerical values (for example, a predetermined value). It may be done by comparison with the value).
  • the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit notification, and may be implicit (for example, the notification of the predetermined information is not performed). good.
  • Software whether referred to as software, firmware, middleware, microcode, hardware description language, or by any other name, is an instruction, instruction set, code, code segment, program code, program, subprogram, software module.
  • Applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, features, etc. should be broadly interpreted.
  • software, instructions, etc. may be transmitted and received via a transmission medium.
  • the software uses wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to websites, servers, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • the information, signals, etc. described herein may be represented using any of a variety of different techniques.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
  • system and "network” used herein are used interchangeably.
  • information, parameters, etc. described in the present specification may be represented by an absolute value, a relative value from a predetermined value, or another corresponding information. ..
  • connection means any direct or indirect connection or connection between two or more elements, and each other. It can include the presence of one or more intermediate elements between two “connected” or “combined” elements.
  • the connections or connections between the elements may be physical, logical, or a combination thereof.
  • the two elements are by using one or more wires, cables and / or printed electrical connections, and, as some non-limiting and non-comprehensive examples, radio frequencies.
  • electromagnetic energies such as electromagnetic energies with wavelengths in the region, microwave region and light (both visible and invisible) regions, they can be considered to be “connected” or “coupled” to each other.
  • references to elements using designations such as “first” and “second” as used herein does not generally limit the quantity or order of those elements. These designations can be used herein as a convenient way to distinguish between two or more elements. Thus, references to the first and second elements do not mean that only two elements can be adopted there, or that the first element must somehow precede the second element.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

オブジェクト認識システムは、送信端末及び受信端末を備え、送信端末は、オブジェクトを撮像する第１撮像部と、オブジェクトを画像認識する認識部と、オブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部と、オブジェクト情報を仲介装置に送信する送信部と、を備え、受信端末は、仲介装置からオブジェクト情報を受信する第２受信部と、自己位置推定結果及びオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う表示部と、を備える。

Description

オブジェクト認識システム及び受信端末
　本開示は、オブジェクト認識システム及び受信端末に関する。
　人や機器等のオブジェクトを特定し、該オブジェクトに係る拡張現実表示を行う技術が知られている（例えば特許文献１参照）。オブジェクトは、例えばカメラ付きのデバイスによるオブジェクトの撮影、及び画像処理等を用いたオブジェクト認識技術等により特定され得る。
ＷＯ２０１８／１６７９６６
　例えば現実空間のオブジェクトを仮想空間に忠実に再現するためには、あらゆる場所、あらゆるオブジェクトの特定を行う必要がある。このような特定は、画像処理等を伴うため、多大な労力が必要となる。
　本開示は上記実情に鑑みてなされたものであり、オブジェクトの特定に係る労力を軽減することができるオブジェクト認識システム及び受信端末を提供することを目的とする。
　本開示の一態様に係るオブジェクト認識システムは、自己位置推定を行う送信端末及び受信端末を備え、送信端末は、オブジェクトを撮像する第１撮像部と、第１撮像部によって撮像されたオブジェクトを画像認識する認識部と、認識部によって画像認識されたオブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部と、特定部によって特定されたオブジェクト情報を仲介装置に送信する送信部と、を備え、受信端末は、仲介装置からオブジェクト情報を受信する第２受信部と、自己位置推定結果及び第２受信部によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う表示部と、を備える。
　本開示の一態様に係るオブジェクト認識システムでは、送信端末により撮像され、画像認識されたオブジェクトから拡張現実表示に係るメタデータが取得される。また、送信端末の自己位置推定結果を考慮してオブジェクトの位置が導出される。そして、メタデータとオブジェクトの位置とを関連付けたオブジェクト情報が、仲介装置を介して受信端末に送信される。また、受信端末がオブジェクト情報に含まれるオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示が行われる。このように、オブジェクトのメタデータ及びオブジェクトの位置が、オブジェクト情報として送信端末から受信端末に共有され、受信端末がオブジェクトの位置に対応する位置に到達した際に、受信端末において、受信したオブジェクト情報に含まれるメタデータに基づく拡張現実表示が行われることにより、受信端末では、当該オブジェクト情報に係るオブジェクトに関する情報が表示されることとなる。これにより、受信端末では、当該オブジェクト情報に係るオブジェクトの画像認識を行うことなく、オブジェクトが特定される。以上のように、本発明の一態様に係るオブジェクト認識システムによれば、受信端末における画像認識が不要になることによって、オブジェクトの特定に係る労力を軽減することができる。また、本発明の一態様に係るオブジェクト認識システムでは、受信端末における画像認識が不要になることにより、電力消費を軽減することができる。また、本発明の一態様に係るオブジェクト認識システムでは、受信端末によっては画像認識することができない（受信端末の画角の外に存在する）オブジェクトのオブジェクト情報についても送信端末から受信端末に共有されるため、オブジェクトの特定をより効率的に行うことができる。
　本開示の一態様によれば、オブジェクトの特定に係る労力を軽減することができる。
実施形態に係るオブジェクト認識システムの機能構成を示すブロック図である。 送信端末が行う処理の一例を示すフローチャートである。 受信端末が行う処理の一例を示すフローチャートである。 実施形態に係る拡張現実表示の一例を示す図である。 静的オブジェクト及び動的オブジェクトの経時的な認識と共有との関係を示す図である。 変形例に係る送信端末の機能構成を示すブロック図である。 送信端末及び受信端末のハードウェア構成を示す図である。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
　図１は、実施形態に係るオブジェクト認識システム１の機能構成を示すブロック図である。オブジェクト認識システム１は、送信端末１０がオブジェクトの画像認識結果に応じた拡張現実表示に係るメタデータ、及びオブジェクトの位置を受信端末３０に共有し、受信端末３０が該オブジェクトに係る画像認識を行うことなく、受信端末３０において該オブジェクトに係る拡張現実表示を行うシステムである。オブジェクトとは、各種物体である。オブジェクトには、動かずに停止している（又は、所定期間内における動く量が無視できる程度に少ない）物体（以下、「静的オブジェクト」という。）、及び、所定期間内における動く量が所定値よりも多い物体（以下、「動的オブジェクト」という。）の双方を含みうる。例えば、構造物、看板、ポスター等は上述した静的オブジェクトとされ、人や自動車は上述した動的オブジェクトとされてもよい。オブジェクト認識システム１は、送信端末１０（第１端末）及び受信端末３０（第２端末）を備えている。送信端末１０及び受信端末３０は、それぞれネットワークＮに通信可能に接続されている。送信端末１０及び受信端末３０は、それぞれ複数台で構成され得る。
　送信端末１０は、ネットワークＮと通信可能な通信端末であり、例えばスマートフォン、タブレット端末、ウェアラブル端末、携帯ゲーム機等により構成され得る。送信端末１０は自己位置推定を行うことができる。自己位置推定とは、端末自身が現在どこに存在しているのかを推定することであり、例えばＳＬＡＭ（Simultaneous Localization And Mapping）等の技術により実現し得る。ＳＬＡＭとは、カメラ、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。ＳＬＡＭの具体的な一例として、カメラにより撮像された画像を用いたＶｉｓｕａｌ　ＳＬＡＭが挙げられる。送信端末１０は、自己位置推定結果から、送信端末１０の位置及び方位等を取得することができる。送信端末１０は、第１撮像部１１と、認識部１２と、特定部１３と、送信部１４と、を備える。
　第１撮像部１１は、オブジェクトを撮像する機能要素である。より詳細には、第１撮像部１１は、オブジェクトの画像を撮像すると共に、該画像の撮像日時を示す時間情報を取得することができる。画像には複数のオブジェクトが含まれていてもよい。
　認識部１２は、第１撮像部１１によって撮像されたオブジェクトを画像認識する機能要素である。画像認識の手法は限定されない。画像認識が行われることにより、オブジェクトの識別情報（オブジェクトが何であるかを示す情報）が特定される。
　特定部１３は、認識部１２によって画像認識されたオブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する機能要素である。特定部１３は、認識部１２による画像認識結果に基づいて、拡張現実表示に係るメタデータを特定する。メタデータには、例えばオブジェクトの識別情報、オブジェクトの属性、及びオブジェクトの拡張現実表示に係る情報等が含まれている。オブジェクトの識別情報は、オブジェクトが何であるか（例えば「テレビ」等）を示す情報である。オブジェクトの属性は、オブジェクトのカテゴリ（例えば「電化製品」等）を示す情報である。オブジェクトの拡張現実表示に係る情報は、拡張現実表示の内容、拡張現実表示の位置（オブジェクトに対してどの位置に拡張現実表示を行うか）等の情報である。また、特定部１３は、自己位置推定結果に基づきオブジェクトの位置を特定する。特定部１３は、例えば、自己位置推定により取得した送信端末１０の位置及び方位を基準とすると、送信端末１０とオブジェクトとの距離が把握できるため、該オブジェクトの位置を取得することができる。オブジェクトの位置は、例えば座標、又は送信端末１０からの距離等により表されてもよい。特定部１３は、特定したメタデータとオブジェクトの位置とを関連付けた情報をオブジェクト情報とする。
　送信部１４は、特定部１３によって特定されたオブジェクト情報を仲介装置２０に送信する機能要素である。送信するタイミングは限定されず、例えば定期的であってもよく、オブジェクト情報が特定される都度であってもよい。
　仲介装置２０は、送信端末１０から受信したオブジェクト情報等を受信端末３０に送信（仲介）するネットワークＮ上の装置であり、例えばクラウドコンピューティングの装置又は装置群により構成され得る。仲介装置２０及びネットワークＮの構成は限定されない。
　受信端末３０は、ネットワークＮと通信可能な通信端末であり、例えばスマートフォン、タブレット端末、ウェアラブル端末、携帯ゲーム機等により構成され得る。受信端末３０は、送信端末１０と同様に自己位置推定を行うことができる。受信端末３０及び送信端末１０は、それぞれの自己位置推定結果を互いに共有することにより、互いの位置を把握してもよい。受信端末３０及び送信端末１０は、例えば互いの位置が把握できた場合等にグルーピング（又はペアリング）されてもよい。そして、グルーピングされた端末間でのみ、オブジェクト情報が共有されてもよい。なお、送信端末１０及び受信端末３０は、互いに同じ機能を有する端末であってもよく、互いに送信端末１０及び受信端末３０の双方になり得るものであってもよい。受信端末３０は、第２受信部３１と、第２撮像部３２と、表示部３３と、を備える。
　第２受信部３１は、仲介装置２０からオブジェクト情報を受信する機能要素である。受信するタイミングは限定されず、例えば定期的であってもよく、受信端末３０の位置又は方位が変更されたタイミングであってもよい。受信する対象のオブジェクト情報は、例えば、オブジェクト情報に含まれるオブジェクトの位置を基準として、受信端末３０の位置から所定の範囲内のオブジェクト情報であってもよい。
　第２撮像部３２は、オブジェクトを撮像する機能要素である。より詳細には、第２撮像部３２は、オブジェクトの画像を撮像すると共に、該画像の撮像日時を示す時間情報を取得することができる。画像には複数のオブジェクトが含まれていてもよい。
　表示部３３は、自己位置推定結果及び第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う機能要素である。表示部３３は、自己位置推定結果及び第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末３０がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行ってもよい。表示部３３は、自己位置推定結果を考慮して、第２撮像部３２によって撮像されている領域の座標系を導出し、第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置が、座標系に含まれる場合に、該位置に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行ってもよい。オブジェクトの位置の拡張現実表示は限定されず、例えば方角、距離、矢印等の記号、枠、強調表示、文字等のいずれか又は組み合わせによって示されてもよい。
　図２は、送信端末１０が行う処理の一例を示すフローチャートである。図２では、認識する対象のオブジェクトをテレビとして説明する。
　送信端末１０は、自己位置推定を実行する（ステップＳ１１）。送信端末１０は、自己位置推定結果から、例えば建物内における送信端末１０の位置及び方位等を取得する。
　第１撮像部１１は、オブジェクトを撮像する（ステップＳ１２）。例えば、送信端末１０の方位（画角内）にテレビが存在する場合、第１撮像部１１によってテレビの画像が取得される。
　認識部１２は、第１撮像部１１によって撮像されたオブジェクトを画像認識する（ステップＳ１３）。認識部１２は、例えばテレビの画像に対し画像認識を実行し、拡張現実表示に係るメタデータを取得する。メタデータは、例えばテレビを識別する識別情報、テレビを示す属性等の情報を含み得る。
　特定部１３は、認識部１２によって画像認識されたオブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する（ステップＳ１４）。送信端末１０は、例えば、建物内における送信端末１０の位置及び方位を基準として、送信端末１０とテレビとの距離を把握することにより、テレビの位置を取得する。特定部１３は、テレビのメタデータと、テレビの位置とを関連付けたオブジェクト情報を特定する。
　送信部１４は、特定部１３によって特定されたオブジェクト情報を仲介装置２０に送信する（ステップＳ１５）。
　図３は、受信端末３０が行う処理の一例を示すフローチャートである。図３は、図２と同様に、認識する対象のオブジェクトをテレビとして説明する。図３はまた、図２で説明した送信端末１０と同じ建物内に受信端末３０が存在するものとして説明する。図３において、受信端末３０は、第２撮像部３２により任意のオブジェクトの撮像を実行しているものとする。
　受信端末３０は、自己位置推定を実行する（ステップＳ２１）。受信端末３０は、自己位置推定結果から、例えば建物内における受信端末３０の位置及び方位等を取得する。
　第２受信部３１は、仲介装置２０からオブジェクト情報を受信する（ステップＳ２２）。
　表示部３３は、自己位置推定結果を考慮して、第２撮像部３２によって撮像されている領域の座標系を導出し、第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置が、座標系に含まれる場合に、該位置に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う（ステップＳ２３）。表示部３３は、例えばオブジェクト情報に含まれるテレビの位置を示すように、矢印及び文字等により拡張現実表示を行ってもよい。
　本実施形態において、受信端末３０は、第２撮像部３２による撮像を実行しなくてもよい。表示部３３は、自己位置推定結果及び第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末３０がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行ってもよい。表示部３３は、例えば受信端末３０の方位にテレビがない場合、テレビが存在する方位に受信端末３０を向けるように促すメッセージ等により拡張現実表示を行ってもよい。
　図４は、実施形態に係る拡張現実表示の一例を示す図である。図４は、送信端末１０によってオブジェクト（例えば、ペットボトル）の撮像及び画像認識を行った結果、「紅茶のペットボトル」を示す情報を含むメタデータが取得されていることを示す。受信端末３０は仲介装置２０を介して、送信端末１０が認識したペットボトルのメタデータとペットボトルの位置とが関連付けられて特定されたオブジェクト情報を受信する。受信端末３０は、自己位置推定結果を考慮して、第２撮像部３２によって撮像されている領域の座標系を導出する。受信端末３０はまた、受信したオブジェクト情報に含まれるペットボトルの位置が、座標系に含まれるかどうかを判定する。図４の受信端末３０では、含まれていると判定され、オブジェクト情報に含まれるメタデータに基づいて「紅茶のペットボトルがあります」等のメッセージを含む拡張現実表示がなされていることを示す。このように、受信端末３０は、送信端末１０から送信されたオブジェクト情報を利用することによって、オブジェクト認識を実行することなく、撮像しているオブジェクトに関する拡張現実表示を行うことができる。
　次に、本実施形態に係るオブジェクト認識システム１の作用効果について説明する。
　本実施形態に係るオブジェクト認識システム１は、自己位置推定を行う送信端末１０及び受信端末３０を備え、送信端末１０は、オブジェクトを撮像する第１撮像部１１と、第１撮像部１１によって撮像されたオブジェクトを画像認識する認識部１２と、認識部１２によって画像認識されたオブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部１３と、特定部１３によって特定されたオブジェクト情報を仲介装置２０に送信する送信部１４と、を備え、受信端末３０は、仲介装置２０からオブジェクト情報を受信する第２受信部３１と、自己位置推定結果及び第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末３０がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う表示部３３と、を備える。
　本実施形態に係るオブジェクト認識システム１では、送信端末１０により撮像され、画像認識されたオブジェクトから拡張現実表示に係るメタデータが取得される。また、送信端末１０の自己位置推定結果を考慮してオブジェクトの位置が導出される。そして、メタデータとオブジェクトの位置とを関連付けたオブジェクト情報が、仲介装置２０を介して受信端末３０に送信される。また、受信端末３０がオブジェクト情報に含まれるオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示が行われる。このように、オブジェクトのメタデータ及びオブジェクトの位置が、オブジェクト情報として送信端末１０から受信端末３０に共有され、受信端末３０がオブジェクトの位置に対応する位置に到達した際に、受信端末３０において、受信したオブジェクト情報に含まれるメタデータに基づく拡張現実表示が行われることにより、受信端末３０では、当該オブジェクト情報に係るオブジェクトに関する情報が表示されることとなる。これにより、受信端末３０では、当該オブジェクト情報に係るオブジェクトの画像認識を行うことなく、オブジェクトが特定される。以上のように、本実施形態に係るオブジェクト認識システムによれば、受信端末３０における画像認識が不要になることによって、オブジェクトの特定に係る労力を軽減することができる。また、本実施形態に係るオブジェクト認識システム１では、受信端末３０における画像認識が不要になることにより、電力消費を軽減することができる。また、本実施形態に係るオブジェクト認識システム１では、受信端末３０によっては画像認識することができない（受信端末３０の画角の外に存在する）オブジェクトのオブジェクト情報についても送信端末１０から受信端末３０に共有されるため、オブジェクトの特定をより効率的に行うことができる。
　本実施形態に係るオブジェクト認識システム１において、受信端末３０は、オブジェクトを撮像する第２撮像部３２をさらに備え、表示部３３は、自己位置推定結果を考慮して、第２撮像部３２によって撮像されている領域の座標系を導出し、第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置が、座標系に含まれる場合に、該位置に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行ってもよい。このような構成により、撮像されている領域の座標系に、受信したオブジェクト情報に含まれるオブジェクトの位置が含まれているかどうかが判定される。含まれている場合、オブジェクト情報に含まれるメタデータに基づいて拡張現実表示が実行される。したがって、既に送信端末１０により撮像されたオブジェクトについて、受信端末３０はオブジェクト認識を実行することなく、撮像しているオブジェクトに関する拡張現実表示がなされる。また、このような構成によれば、第２撮像部３２によって撮像されたオブジェクトと、該オブジェクトに係る拡張現実表示とを共に（併せて）表示することができ、オブジェクトをより効果的に特定することができる。
　［変形例］
　以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示はその要旨を逸脱しない範囲で様々な変形が可能である。
　送信部１４は、送信端末１０の識別情報を仲介装置２０にさらに送信してもよい。仲介装置２０は、受信端末３０にオブジェクト情報を送信した回数を送信端末１０の識別情報ごとにカウントしてもよい。送信端末１０の識別情報は、例えばユーザＩＤ、送信端末１０自身を識別する装置ＩＤ等を含み得る。このような構成により、受信端末３０に対するオブジェクト情報の送信回数が、送信端末１０ごとにカウントされる。送信回数が多いほど、受信端末３０でオブジェクト情報が利用されたことを示す。言い換えると、送信回数は、送信端末１０がオブジェクト認識により受信端末３０に貢献した度合いを示すことができる。このように、貢献度合いを導出し示すことにより、ユーザがオブジェクト認識に係る操作を行うモチベーションを高めることができる。仲介装置２０は、受信端末３０において実際に拡張現実表示がなされた回数をカウントしてもよい。この場合、受信端末３０は、拡張現実表示がなされた回数とオブジェクト情報を識別する情報等を仲介装置２０に送信するように構成されてもよい。
　別の変形例において、認識部１２は、画像認識によって静的オブジェクト又は動的オブジェクトを示す分類情報をさらに認識してもよい。特定部１３は、認識部１２によって認識された分類情報及び第１撮像部１１によって撮像された撮像日時を示す時間情報をさらに関連付けた前記オブジェクト情報を特定してもよい。第２受信部３１は、オブジェクト情報に含まれる分類情報が静的オブジェクトであるオブジェクト情報、及び、オブジェクト情報に含まれる分類情報が動的オブジェクトであり、かつオブジェクト情報に含まれる時間情報が予め定められた時間内であるオブジェクト情報のみを受信してもよい。このような構成により、画像認識によって、静的オブジェクトであるか動的オブジェクトであるかを示す分類情報が認識される。分類情報が静的オブジェクトである場合、オブジェクト情報が受信端末３０に共有される。分類情報が動的オブジェクトである場合、撮像日時を示す時間情報が予め定められた時間内のオブジェクト情報のみが受信端末３０に共有される。したがって、受信端末３０は、所定の時間より前に撮像された動的オブジェクトに関するオブジェクト情報を受信しない。なお、時間情報を撮像日時としているが、例えば認識部１２による画像認識の実行日時、又は送信部１４による送信日時等としてもよい。
　図５は、変形例に係る静的オブジェクト及び動的オブジェクトの経時的な認識と共有との関係を示す図である。図５の四角枠はそれぞれ、送信端末１０が静的オブジェクトＡ，Ｂ，Ｃ，Ｄ及び動的オブジェクトＡ´，Ｂ´，Ｃ´，Ｄ´を経時的に認識したことを示す。以下、時点ｔ１，ｔ２，ｔ３のそれぞれにおいて、受信端末３０が受信する対象のオブジェクト情報を説明する。
　時点ｔ１において、静的オブジェクトＡ及び動的オブジェクトＡ´が認識されている。静的オブジェクトは、認識時点以降もオブジェクトの位置が変わらないと想定される。したがって、静的オブジェクトは一度認識されると、オブジェクト情報を改めて特定する必要がない。一方、動的オブジェクトは、受信端末３０が受信した時点でオブジェクトの位置が変わっている可能性がある。ここで、受信端末３０は、例えばオブジェクトの撮像日時を示す時間情報が数秒以内のもののみ、動的オブジェクトに関するオブジェクト情報を受信してもよい。この場合、時点ｔ１において、受信端末３０は静的オブジェクトＡ及び動的オブジェクトＡ´を受信する。
　時点ｔ１と時点ｔ２との間に、新たな静的オブジェクトＢ，Ｃが認識されている。また、時点ｔ１とｔ２との間に、動的オブジェクトＢ´及びＣ´が認識されているが、ここでは時点ｔ２から予め定められた時間内（例えば、数秒以内）に撮像されたものではないとする。この場合、時点ｔ２において、受信端末３０は静的オブジェクトＡ，Ｂ，Ｃを受信する。
　時点ｔ３において、新たな静的オブジェクトＤ及び動的オブジェクトＤ´が認識されている。この場合、時点ｔ３において、受信端末３０は静的オブジェクトＡ，Ｂ，Ｃ，Ｄ及び動的オブジェクトＤ´を受信する。
　別の変形例において、認識部１２は、画像認識によって静的オブジェクト又は動的オブジェクトを示す分類情報をさらに認識してもよい。特定部１３は、分類情報が静的オブジェクトであるオブジェクトのみ、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定してもよい。このような構成により、画像認識によって、静的オブジェクトであるか動的オブジェクトであるかを示す分類情報が認識される。そして、分類情報が静的オブジェクトである場合のみ、オブジェクト情報が受信端末３０に共有される。このことにより、オブジェクト認識システム１の全体的な処理効率が高くなる。また、位置が変わる可能性のある動的オブジェクトを除くことによって、受信端末３０において、拡張現実表示をより正確に行うことができる。
　別の変形例において、第２受信部３１は、オブジェクト情報に含まれるオブジェクトの位置が受信端末３０の方位に存在するオブジェクト情報のみを受信してもよい。このような構成により、受信端末３０の方位（例えば画角内）に存在するオブジェクト情報のみが受信端末３０に共有される。このことにより、受信端末３０が受信するオブジェクト情報の量を軽減することができる。また、受信端末３０の方位に存在するオブジェクトのオブジェクト情報のみが受信端末３０に共有されることによって、受信端末３０において、各オブジェクトの特定をより正確に行うことができる。
　図６は、変形例に係る送信端末１０の機能構成を示すブロック図である。送信端末１０は、仲介装置２０から、他の送信端末１０によって認識されたオブジェクトに関するオブジェクト情報を受信する第１受信部１５をさらに備えてもよい。認識部１２は、他の送信端末１０によって認識されたオブジェクトを認識しなくてもよい。このような構成により、送信端末１０が複数ある場合において、他の送信端末１０（第３端末）から送信端末１０（第１端末）にオブジェクト情報が共有される。送信端末１０（第１端末）は、受信したオブジェクト情報に関するオブジェクトについて、改めて認識しない。したがって、送信端末１０は重複した処理を避けることができ、オブジェクト認識の処理効率を高めることができる。
　なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線で）接続し、これら複数の装置により実現されてもよい。
　例えば、上記実施形態における送信端末１０及び受信端末３０などは、上記実施形態の送信端末１０及び受信端末３０の処理を行うコンピュータとして機能してもよい。図７は、本実施形態に係る送信端末１０及び受信端末３０のハードウェア構成の一例を示す図である。上述の送信端末１０及び受信端末３０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、及びバス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。送信端末１０及び受信端末３０のハードウェア構成は、図１に示された各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　送信端末１０及び受信端末３０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）で構成されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、及び／又はデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、送信端末１０の第１撮像部１１は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、上記実施形態に係るオブジェクト認識方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバ、その他の適切な媒体であってもよい。
　通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１及びメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
　また、送信端末１０及び受信端末３０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
　以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更された態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
　本明細書で説明した各態様／実施形態の処理手順、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本明細書で説明した各態様／実施形態は単独で用いられてもよいし、組み合わせて用いられてもよいし、実行に伴って切り替えて用いられてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）によって行われてもよい。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
　本明細書で説明した情報及び信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
　本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
　また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
　上述したパラメータに使用される名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。
　「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。
　本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」との両方を意味する。
　本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
「含む（including）」、「含んでいる（comprising）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本明細書において、文脈又は技術的に明らかに１つのみしか存在しない装置であることが示されていなければ、複数の装置をも含むものとする。
　１０…送信端末、１１…第１撮像部、１２…認識部、１３…特定部、１４…送信部、１５…第１受信部、２０…仲介装置、３０…受信端末、３１…第２受信部、３２…第２撮像部、３３…表示部。

Claims (9)

  1. 　自己位置推定を行う送信端末及び受信端末を備えるオブジェクト認識システムであって、
    　前記送信端末は、
    　　オブジェクトを撮像する第１撮像部と、
    　　前記第１撮像部によって撮像された前記オブジェクトを画像認識する認識部と、
    　　前記認識部によって画像認識された前記オブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出される前記オブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部と、
    　　前記特定部によって特定された前記オブジェクト情報を仲介装置に送信する送信部と、
    　を備え、
    　前記受信端末は、
    　　前記仲介装置から前記オブジェクト情報を受信する第２受信部と、
    　　自己位置推定結果及び前記第２受信部によって受信された前記オブジェクト情報に含まれる前記オブジェクトの位置に基づき、前記受信端末が前記オブジェクトの位置に対応する位置に到達した際に、前記オブジェクト情報に含まれる前記メタデータに基づく拡張現実表示を行う表示部と、
    　を備える、
    オブジェクト認識システム。
  2. 　前記受信端末は、オブジェクトを撮像する第２撮像部をさらに備え、
    　前記表示部は、自己位置推定結果を考慮して、前記第２撮像部によって撮像されている領域の座標系を導出し、前記第２受信部によって受信された前記オブジェクト情報に含まれる前記オブジェクトの位置が、前記座標系に含まれる場合に、該位置に、前記オブジェクト情報に含まれる前記メタデータに基づく拡張現実表示を行う、
    請求項１記載のオブジェクト認識システム。
  3. 　前記送信部は、前記送信端末の識別情報をさらに送信し、
    　前記仲介装置は、前記受信端末に前記オブジェクト情報を送信した回数を前記送信端末の識別情報ごとにカウントする、
    請求項１又は２記載のオブジェクト認識システム。
  4. 　前記認識部は、画像認識によって静的オブジェクト又は動的オブジェクトを示す分類情報をさらに認識し、
    　前記特定部は、前記認識部によって認識された前記分類情報及び前記第１撮像部によって撮像された撮像日時を示す時間情報をさらに関連付けた前記オブジェクト情報を特定し、
    　前記第２受信部は、前記オブジェクト情報に含まれる前記分類情報が静的オブジェクトである前記オブジェクト情報、及び、前記オブジェクト情報に含まれる前記分類情報が動的オブジェクトでありかつ前記オブジェクト情報に含まれる前記時間情報が予め定められた時間内である前記オブジェクト情報のみを受信する、
    請求項１～３いずれか一項記載のオブジェクト認識システム。
  5. 　前記認識部は、画像認識によって静的オブジェクト又は動的オブジェクトを示す分類情報をさらに認識し、
    　前記特定部は、前記分類情報が静的オブジェクトである前記オブジェクトのみ、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出される前記オブジェクトの位置とを関連付けたオブジェクト情報を特定する、
    請求項１～３いずれか一項記載のオブジェクト認識システム。
  6. 　前記第２受信部は、前記オブジェクト情報に含まれる前記オブジェクトの位置が前記受信端末の方位に存在する前記オブジェクト情報のみを受信する、請求項１～５いずれか一項記載のオブジェクト認識システム。
  7. 　前記送信端末は、前記仲介装置から、他の送信端末によって認識されたオブジェクトに関するオブジェクト情報を受信する第１受信部をさらに備え、
    　前記認識部は、前記他の送信端末によって認識されたオブジェクトを認識しない、
    請求項１～６いずれか一項記載のオブジェクト認識システム。
  8. 　自己位置推定を行う受信端末であって、
    　オブジェクトの画像認識結果に応じた拡張現実表示に係るメタデータと、前記オブジェクトの位置とを関連付けたオブジェクト情報を受信する第２受信部と、
    　自己位置推定結果及び前記第２受信部によって受信された前記オブジェクト情報に含まれる前記オブジェクトの位置に基づき、前記受信端末が前記オブジェクトの位置に対応する位置に到達した際に、前記オブジェクト情報に含まれる前記メタデータに基づく拡張現実表示を行う表示部と、
    を備える、受信端末。
  9. 　自己位置推定を行う送信端末であって、
    　オブジェクトを撮像する第１撮像部と、
    　前記第１撮像部によって撮像された前記オブジェクトを画像認識する認識部と、
    　前記認識部によって画像認識された静的オブジェクトを示す前記オブジェクトのみ、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出される前記オブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部と、
    　前記特定部によって特定された前記オブジェクト情報を仲介装置に送信する送信部と、
    を備える、送信端末。
PCT/JP2021/006432 2020-02-28 2021-02-19 オブジェクト認識システム及び受信端末 WO2021172221A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022503345A JP7389222B2 (ja) 2020-02-28 2021-02-19 オブジェクト認識システム及び受信端末

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020033147 2020-02-28
JP2020-033147 2020-02-28

Publications (1)

Publication Number Publication Date
WO2021172221A1 true WO2021172221A1 (ja) 2021-09-02

Family

ID=77491043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/006432 WO2021172221A1 (ja) 2020-02-28 2021-02-19 オブジェクト認識システム及び受信端末

Country Status (2)

Country Link
JP (1) JP7389222B2 (ja)
WO (1) WO2021172221A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US20180047213A1 (en) * 2015-03-20 2018-02-15 Korea Advanced Institute Of Science And Technology Method and apparatus for providing augmented reality-based dynamic service

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US20180047213A1 (en) * 2015-03-20 2018-02-15 Korea Advanced Institute Of Science And Technology Method and apparatus for providing augmented reality-based dynamic service

Also Published As

Publication number Publication date
JPWO2021172221A1 (ja) 2021-09-02
JP7389222B2 (ja) 2023-11-29

Similar Documents

Publication Publication Date Title
CN107786794B (zh) 向应用提供由图像传感器获取的图像的电子装置和方法
KR102276847B1 (ko) 가상 오브젝트 제공 방법 및 그 전자 장치
EP2916202A1 (en) Method and apparatus for detecting user input in an electronic device
KR102327779B1 (ko) 이미지 처리 방법 및 장치
KR102237373B1 (ko) 전자 장치의 태스크 스케줄링 방법 및 이를 사용하는 전자 장치
EP2996023A1 (en) Method and electronic device for providing information
US20120046072A1 (en) User terminal, remote terminal, and method for sharing augmented reality service
KR20160023164A (ko) 콘텐츠 분류 방법 및 전자 장치
KR102256291B1 (ko) 번역 상황을 인지하고 번역 기능을 수행하는 방법 및 이를 구현하는 전자장치
US11620414B2 (en) Display apparatus, display method, and image processing system
CN112116690A (zh) 视频特效生成方法、装置及终端
US10205882B2 (en) Method for providing service and electronic device thereof
KR102316846B1 (ko) 미디어 컨텐츠를 선별하는 방법 및 이를 구현하는 전자장치
WO2015102451A1 (en) Image processing method and electronic device implementing the same
US20150278207A1 (en) Electronic device and method for acquiring image data
JP6286836B2 (ja) 投影システム、投影装置、投影方法、及び投影プログラム
JP6869809B2 (ja) 画像推定装置
KR102133718B1 (ko) 바코드를 이용한 정보 제공 방법 및 장치
WO2021172221A1 (ja) オブジェクト認識システム及び受信端末
WO2018184360A1 (zh) 一种信息获取、信息提供方法及相关装置
KR102216656B1 (ko) 이미지 처리 방법 및 그 전자 장치
KR102246270B1 (ko) 전자 장치 및 그 연동 방법
KR102185131B1 (ko) 썸네일 생성 방법 및 그 전자 장치
US20220083145A1 (en) Information display apparatus using line of sight and gestures
US10482151B2 (en) Method for providing alternative service and electronic device thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21759731

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503345

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21759731

Country of ref document: EP

Kind code of ref document: A1