WO2022270558A1 - 画像処理装置、画像処理方法、プログラム - Google Patents

画像処理装置、画像処理方法、プログラム Download PDF

Info

Publication number
WO2022270558A1
WO2022270558A1 PCT/JP2022/024980 JP2022024980W WO2022270558A1 WO 2022270558 A1 WO2022270558 A1 WO 2022270558A1 JP 2022024980 W JP2022024980 W JP 2022024980W WO 2022270558 A1 WO2022270558 A1 WO 2022270558A1
Authority
WO
WIPO (PCT)
Prior art keywords
display mode
image
information
user
unit
Prior art date
Application number
PCT/JP2022/024980
Other languages
English (en)
French (fr)
Inventor
尚志 岡
鉄二 鈴木
隆幸 菅原
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022032920A external-priority patent/JP2023004849A/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2022270558A1 publication Critical patent/WO2022270558A1/ja
Priority to US18/393,809 priority Critical patent/US20240119643A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Definitions

  • the present invention relates to an image processing device, an image processing method, and a program.
  • Patent Document 1 Conventionally, for video data visually recognized by a user, there has been disclosed a method in which information indicating what kind of scene the video data is based on image data output for each frame is added (for example, Patent Document 1). ).
  • the present embodiment has been made in view of the above, and aims to provide an image processing apparatus, an image processing method, and a program capable of providing an image that meets the user's request.
  • An image processing apparatus includes an object information acquisition unit that acquires information on a first object, and object detection that detects the first object and a second object related to the first object from image data. and a display mode changing unit that changes the display mode of the second object when the first object is detected.
  • the image processing apparatus determines whether the user's position is within the specific area based on the information of the specific area, the object information acquisition unit that acquires the information of the first object, and the user's position information. a position information processing unit, an object detection unit that detects the first object related to the specific area and the second object related to the first object from image data, and a position of the user within the specific area. and a display mode changing unit that changes a display mode of the second object when it is determined that the first object related to the specific area is detected.
  • An image processing method includes the steps of acquiring information on a first object, detecting the first object and a second object related to the first object from image data, and changing the display mode of the second object when one object is detected.
  • a program includes the steps of acquiring information on a first object, detecting from image data the first object and a second object related to the first object, is detected, changing the display mode of the second object.
  • an image processing apparatus capable of providing an image that meets a user's request based on image data.
  • FIG. 1 is a diagram showing an example of an image processing system according to this embodiment.
  • FIG. 2 is a diagram showing an example of an image displayed by the image processing apparatus according to this embodiment.
  • FIG. 3 is a functional block diagram showing an example of the image processing system according to this embodiment.
  • FIG. 4 is a diagram showing an example of a main image obtained by superimposing a main image and a sub-image according to the first embodiment.
  • FIG. 5 is a diagram showing an example of display mode change information according to the present embodiment.
  • FIG. 6 is a flowchart according to this embodiment.
  • FIG. 7 is a diagram showing an example of a main image obtained by superimposing a main image and a sub-image according to the second embodiment.
  • FIG. 1 is a diagram showing an example of an image processing system according to this embodiment.
  • the image processing system 1 according to the first embodiment is a device that provides information to the user U by outputting a visual stimulus to the user U.
  • FIG. 1 the image processing system 1 is a so-called wearable device worn on the user's U body.
  • the image processing system 1 has an image processing device 100 worn on the user's U eyes.
  • the image processing device 100 worn on the eyes of the user U includes an output unit 120 described later that outputs a visual stimulus to the user U (displays an image).
  • the configuration of FIG. 1 is an example, and the number of devices and the mounting position on the user U may be arbitrary.
  • the image processing system 1 is not limited to a wearable device, and may be a device carried by the user U, such as a so-called smart phone or tablet terminal.
  • FIG. 2 is a diagram showing an example of an image displayed by the image processing apparatus according to this embodiment.
  • the image processing system 1 provides the user U with the main image PM through the output unit 120 .
  • the user U wearing the image processing system 1 can visually recognize the main image PM.
  • the main image PM is an image of scenery that the user U will see when it is assumed that the user U is not wearing the image processing system 1, and is within the visual field range of the user U. It can be said that it is an image of a real object.
  • the visual field range refers to a range that can be seen without moving the eyeball, centering on the line of sight of the user U.
  • the image processing system 1 provides the user U with the main image PM by transmitting external light (peripheral visible light) from the output unit 120, for example. That is, in the present embodiment, it can be said that the user U directly visually recognizes the image of the actual scenery through the output unit 120 .
  • the image processing system 1 is not limited to allowing the user U to directly visually recognize the image of the actual scene, but by causing the output unit 120 to display the image of the main image PM, so that the user U can see the main image PM through the output unit 120. may be provided. In this case, the user U will visually recognize the image of the scenery displayed on the output unit 120 as the main image PM. In this case, the image processing system 1 causes the output unit 120 to display, as the main image PM, an image within the field of view of the user U captured by the imaging unit 200, which will be described later.
  • the image processing system 1 causes the output section 120 to display the sub-image PS so as to be superimposed on the main image PM provided through the output section 120 .
  • the user U will visually recognize the image in which the sub-image PS is superimposed on the main image PM.
  • the sub-image PS is an image that is superimposed on the main image PM, and can be said to be an image other than the actual scene within the user's U visual field range. That is, it can be said that the image processing system 1 provides the user U with AR (Augmented Reality) by superimposing the sub-image PS on the main image PM, which is a real scene.
  • the image processing system 1 provides the main image PM and the sub-image PS.
  • the output unit 120 may display an image different from the main image PM and the sub-image PS. It can be any image.
  • FIG. 3 is a functional block diagram showing an example of the image processing system according to this embodiment.
  • the image processing system 1 includes an image processing device 100 and an imaging section 200 .
  • the image processing apparatus 100 includes an input unit 110 , an output unit 120 , a storage unit 140 , a communication unit 130 and a control unit 150 .
  • the imaging unit 200 is an imaging device, and captures an image of the surroundings of the image processing system 1 by detecting visible light around the image processing system 1 as environmental information.
  • the image capturing unit 200 may be a video camera that captures images at each predetermined frame rate.
  • the position and orientation of the imaging unit 200 in the image processing system 1 are arbitrary.
  • the imaging unit 200 is provided in the image processing apparatus 100 shown in FIG. direction. Thereby, the imaging unit 200 can capture an image of an object located ahead of the user U's line of sight, that is, an object within the range of the user's U visual field.
  • the number of imaging units 200 is arbitrary, and may be singular or plural.
  • the input unit 110 is a device that receives user operations, and may be, for example, a touch panel.
  • the output unit 120 is a display that outputs a visual stimulus for the user U by displaying an image, and can also be called a visual stimulus output unit.
  • the output unit 120 is a so-called HMD (Head Mount Display).
  • the output unit 120 displays the sub-image PS as described above.
  • the output unit 120 may include an audio output unit (speaker) that outputs audio, and a tactile stimulation output unit that outputs tactile stimulation to the user U.
  • the tactile sense stimulus output unit outputs tactile sense stimulus to the user by physically operating such as vibration, but the type of tactile sense stimulus is not limited to vibration or the like and may be arbitrary.
  • the communication unit 130 is a module that communicates with an external device or the like, and may include, for example, an antenna.
  • the communication method by the communication unit 130 is wireless communication in this embodiment, but any communication method may be used.
  • the control unit 150 is an arithmetic unit, that is, a CPU (Central Processing Unit).
  • Control unit 150 includes image data acquisition unit 151 , object information acquisition unit 152 , object detection unit 153 , and display mode change unit 154 .
  • the control unit 150 implements an image data acquisition unit 151, an object information acquisition unit 152, an object detection unit 153, and a display mode change unit 154 by reading and executing a program (software) from the storage unit 140. process.
  • the control unit 150 may execute these processes by one CPU, or may be provided with a plurality of CPUs and may execute the processes by the plurality of CPUs.
  • At least part of the image data acquisition unit 151, the object information acquisition unit 152, the object detection unit 153, and the display mode change unit 154 may be realized by hardware.
  • the image data acquisition section 151 acquires image data through the imaging section 200 .
  • the image data is the image of the main image PM, which is an environmental image that the user U will see when it is assumed that the user U is not wearing the image processing system 1. It can be said that it is an image of a real object that falls within the visual field range of .
  • the image data acquisition section 151 may acquire the image data from the storage section 140 .
  • FIG. 4 is a diagram showing an example of a main image in which a main image and a sub-image are superimposed in the first embodiment.
  • the image data acquisition unit 151 acquires the main image PM1 visually recognized by the user U as image data.
  • the main image PM1 is a scene in which a child user U receives an injection from a nurse in the presence of a guardian, and includes a syringe O10 and a human face O20.
  • the present embodiment will be described below using an injection scene as an example, the present embodiment is not limited to this example.
  • the object information acquisition unit 152 acquires information on the first object.
  • the information of the first object is the information of the object designated as the first object. It can be said that the object information acquisition unit 152 acquires information indicating the type of the first object (information indicating what kind of object the first object is).
  • the object information acquisition unit 152 acquires, as information on the first object, information on an object that the user U gazes at and which causes a sense of fear or disgust.
  • an object refers to a real object that has a certain shape and can be perceived visually.
  • the first object is, for example, an object that causes fear or disgust for the user U, and the first object may increase the fear or disgust of the user U when the user U gazes at it. can be said to be a certain object.
  • the syringe O10 corresponds to the first object.
  • FIG. FIG. 5 is a diagram showing an example of display mode change information according to the present embodiment.
  • the display mode change information D is information including information on the first object, information on the second object, predetermined conditions, and the display mode after the change of the second object.
  • the display mode change information D can be said to be data in which the first object, the second object, the predetermined condition, and the changed display mode of the second object are associated with each other.
  • the second object is an object related to the first object, and can be said to be an object that the user U is likely to visually recognize together with the first object.
  • a predetermined condition refers to a condition relating to a second object that changes the display mode of the second object.
  • the predetermined condition refers to a condition for selecting the second object whose display mode is to be changed from among the plurality of types of second objects.
  • the post-change display mode of the second object refers to the display mode of the second object to be viewed by the user U, and more specifically, information indicating the sub-image PS superimposed on the second object.
  • the display mode change information D may include second object information, predetermined conditions, and the changed display mode of the second object for different first objects. That is, a plurality of types of first objects may be set, and the display mode change information D may be set for each first object.
  • the object information acquisition unit 152 may acquire the display mode change information D by any method. You may input a display mode. Further, the object information acquiring unit 152 may determine the second object, the predetermined condition, and the changed display mode of the second object based on the information of the first object input by the user U. Further, the setting of the display mode change information D by the input by the user U is not essential, and may be determined by default.
  • the object detection unit 153 detects the first object and the related second object from the image data based on the display mode change information D. FIG. More specifically, the object detection unit 153 determines whether the first object specified by the display mode change information D and the second object associated with the first object by the display mode change information D are detected in the image. It is detected whether it is included in the data (the main image PM1 visually recognized by the user).
  • the object detection unit 153 may detect the first object and the second object by any method, and may detect the first object and the second object using an AI (Artificial Intelligence) model, for example.
  • the AI model in this case is stored in the storage unit 140, and is a model for extracting an object appearing in an image from image data and specifying the type of the object.
  • the AI model is a trained AI model constructed by learning a plurality of data sets as training data, with image data and information indicating the type of object in the image as one data set. ing.
  • a syringe O10 is set as the first object
  • a human face O20 is set as the second object. Therefore, the object detection unit 153 detects the syringe O10, which is the first object, and the human face O20, which is the second object corresponding to the syringe O10 in the display mode change information D, from the image data.
  • the display mode changing unit 154 changes the display mode of the second object when the first object is detected.
  • the display mode changing unit 154 when the first object and the second object are detected from the same image data, based on the display mode change information D, the display mode of the second object that satisfies a predetermined condition. to change Specifically, the display mode changing unit 154 determines whether the second object detected from the image data satisfies a predetermined condition indicated by the display mode change information D.
  • the display mode changing unit 154 determines whether each second object satisfies the predetermined condition indicated by the display mode change information D, and the second object that satisfies the predetermined condition is determined. 2 Extract the object. Then, the display mode changing unit 154 changes the display mode of the second object by displaying the sub-image PS at a position superimposed on the second object that satisfies a predetermined condition. More specifically, the display mode change unit 154 displays the sub-image PS indicated by the display mode change information D at a position superimposed on the second object that satisfies a predetermined condition. The display mode changing unit 154 does not display the sub-image PS at the superimposed position for the second object that does not satisfy the predetermined condition, and the display mode of the second object is not changed.
  • the sub-image PS is an image displayed on the second object to make it difficult to gaze at the first object, which is a specific target included in the main image PM. Any image such as characters or icons may be used as long as it makes the object difficult to gaze at, and a combination thereof may be used.
  • the changing unit 154 superimposes, for example, an image of a rabbit's face as the sub-image PS1 only on the nurse's face O21 that satisfies the conditions.
  • display mode changing unit 154 does not superimpose sub-image PS1 on parent's face O22 that does not satisfy the predetermined condition. In this case, the user U visually recognizes the guardian's face O22 as it is.
  • the combination of the first object, the second object, the predetermined condition, and the changed display mode of the second object is set in advance as the display mode change information D.
  • the sub-image PS which is the changed display mode of the second object
  • the display mode of the second object after the change is not limited to the sub-image PS superimposed on the second object, and the second object may be subjected to optical processing such as color tone adjustment and blurring.
  • the second object (the human face O20 in this case) is detected, and only the second object (the nurse's face O21 in this case) that satisfies a predetermined condition is changed in display mode.
  • a predetermined condition may be imposed when detecting the second object, and the object detection unit 153 may detect the second object that satisfies the predetermined condition. That is, the object detection unit 153 may detect only the nurse's face O21 without detecting all of the human face O20. Further, the display mode changing unit 154 may change the display mode of the second object when the first object is detected, without necessarily requiring a predetermined condition.
  • the storage unit 140 is a memory that stores various information such as calculation contents and programs of the control unit 150.
  • the storage unit 140 includes a main storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), and an HDD ( at least one of an external storage device such as a hard disk drive).
  • Display mode change information D is stored in the storage unit 140 .
  • the display mode change information D and the program for the control unit 150 stored in the storage unit 140 may be stored in a recording medium readable by the image processing system 1 .
  • the program for the control unit 150 and the display mode change information D stored in the storage unit 140 are not limited to being stored in advance in the storage unit 140.
  • the image processing system 1 may be acquired from an external device by the communication unit 130 .
  • FIG. 6 is a flowchart according to this embodiment. The details of processing by the image processing apparatus 100 will be described below.
  • the image data acquisition unit 151 acquires image data through the imaging unit 200 (step S10).
  • the object detection unit 153 detects the first object and the second object related to the first object from the image data based on the display mode change information D (step S20). If the first object is detected from the image data (step S30; Yes), and the second object satisfies a predetermined condition (step S40; Yes), the display mode changing unit 154 changes the display mode of the second object. change (step S50). Here, if the second object does not satisfy the predetermined condition (step S40; No), the display mode changing unit 154 does not change the display mode of the second object.
  • the user U can view the image of the main image PM in which the sub-image PS is superimposed on the second object that satisfies the predetermined condition, that is, the main image in which the display mode of the second object that satisfies the predetermined condition is changed. become.
  • the display mode of the second object is not changed.
  • the user U views only the main image PM.
  • the second embodiment differs from the first embodiment in that the display mode of the second object is changed so that the user U can easily recognize the first object.
  • the second embodiment descriptions of the parts that are common to the first embodiment will be omitted.
  • FIG. 7 is a diagram showing an example of a main image obtained by superimposing a main image and a sub-image according to the second embodiment.
  • the image data acquisition unit 151 acquires the main image PM2 viewed by the user U as image data.
  • the main image PM2 is a scene in which the user U looks for the signboard of the store A in the downtown area, and includes the signboard O15 of the store A and the signboards O25 of all the stores.
  • the present embodiment will be described below using a store signboard as an example, the present embodiment is not limited to this example.
  • the object information acquisition unit 152 acquires information on an object that the user U needs to recognize as information on the first object.
  • the first object is, for example, an object that the user U desires to recognize, and the first object can also be said to be an object that the user U desires to find out from the main image PM2.
  • the object detection unit 153 detects from the image data the signboard O15 of the store A, which is the first object, and all the shops, which are the second objects corresponding to the signboard O15 of the store A in the display mode change information D.
  • the signboard O25 is detected.
  • the sub-image PS is an image displayed on the second object to facilitate recognition of the first object, which is a specific target included in the main image PM. Any image such as characters or icons may be used as long as the object can be easily recognized, and a combination thereof may be used.
  • the signboard O15 of the store A As a condition of the second object whose display mode is to be changed, it is imposed that it is not the signboard O15 of the store A.
  • the display mode changing unit 154 superimposes the sub-image PS2 so as to erase the character information of the signboard O26 of the store B that satisfies the condition, or erases the signboard O27 of the store C that satisfies the condition. Processing such as superimposing PS3 is performed.
  • the sub-image PS2 or PS3 is not superimposed on the signboard O15 of the store A that does not satisfy the predetermined condition, and the user U views the signboard O15 of the store A as it is.
  • the third embodiment differs from the first embodiment in that the control unit 150 further includes a position information processing unit and changes the display mode of the second object based on information on the specific area.
  • the control unit 150 further includes a position information processing unit and changes the display mode of the second object based on information on the specific area.
  • the display mode change information D is information that further includes information on a specific area.
  • a specific region is a specific geographical range in which a user may exist, and refers to, for example, a region where the user U is expected to use the image processing system 1 .
  • the first object is, for example, an object that is characteristic in a specific area, and it can be said that the first object is an object that the user U is likely to visually recognize in the specific area.
  • the display mode change information D may include information on the first object, information on the second object, and the changed display mode of the second object for different specific areas. That is, a plurality of specific areas may be set, and the display mode change information D may be set for each specific area.
  • the position information processing unit acquires the user's position information, and based on the display mode change information D, determines whether the user's position is within the specific area.
  • the user's location information refers to the geographical location where the user U actually exists.
  • the position information processing unit may acquire the user's position information by any method, for example, it may acquire the user's position information through the communication unit 130 .
  • the object detection unit 153 detects the first object related to the specific area and the second object related to the first object from the image data based on the display mode change information D. More specifically, the object detection unit 153 detects the first object associated with the specific area based on the display mode change information D and the first object associated with the first object in the display mode change information D. It is detected whether or not the second object is included in the image data (the main image visually recognized by the user).
  • the display mode change unit 154 changes the display mode change information D to Based on this, the display mode of the second object that satisfies a predetermined condition is changed.
  • the first object is associated with the specific area and the second object is associated with the first object as the display mode change information D, but this is not the only option.
  • the first object may not be associated with a specific area, and the second object may be set in association with the specific area and the first object. That is, when the user's position is within a specific area and the first object is detected from the image data, an arbitrary image is superimposed on the second object associated with the specific area and the first object.
  • the second object is an object related to the first object and the specific area, and can be said to be an object that the user U is likely to visually recognize together with the first object in the specific area.
  • the combination of the specific area, the first object, the second object, the predetermined condition, and the changed display mode of the second object is preset as the display mode change information D.
  • the first object may not be set, and if the user's position is within a specific area, any image may be superimposed on the second object associated with the specific area.
  • the second object is an object related to the specific area, and can be said to be an object that the user U is likely to visually recognize in the specific area.
  • the image processing apparatus of the first aspect includes an object information acquisition unit 152 that acquires information on a first object, and an object detection unit that detects the first object and a second object related to the first object from the image data. 153, and a display mode changing unit 154 that changes the display mode of the second object when the first object is detected. According to this configuration, it is possible to detect a specific object from the image data and add information for changing the display mode of the object to the image data in response to a user's request. This makes it possible to provide an image that meets the user's request.
  • the image processing apparatus of the second mode changes the display mode of the second object when the second object satisfies the predetermined condition, and changes the display mode of the second object when the second object does not satisfy the predetermined condition. Do not change the appearance of the object. As a result, it is possible to selectively change the display mode of the second object, so that it is possible to better meet the user's request.
  • the object information acquisition unit 152 obtains display aspect change information D, which is data in which the first object, the second object, and the display aspect after the change of the second object are associated. and the display mode changing unit changes the display mode of the second object based on the display mode change information D when the first object is detected.
  • the image processing apparatus of the fourth mode changes the display mode of the second object so that it is difficult for the user U viewing the image to gaze at the first object. As a result, when the user needs to avoid gazing at the first object, changing the display mode so that the second object stands out makes it easier to avoid gazing at the first object. can respond.
  • the image processing apparatus of the fifth mode changes the display mode of the second object so that the user U viewing the image can easily recognize the first object. Specifically, the image processing apparatus of the fifth mode changes the display mode of the second object to a display mode in which the character information in the second object is deleted. Thus, when the user needs to recognize the first object, changing the display mode so that the second object is not conspicuous makes it easier to recognize the first object. be able to.
  • An image processing apparatus includes an object information acquisition unit 152 that acquires information on a specific area and information on a first object, and a position information that determines whether the user's position is within the specific area based on the user's position information.
  • An information processing unit an object detection unit 153 for detecting a first object related to a specific region and a second object related to the first object from image data, and a user position determined to be within the specific region. and a display mode changing unit 154 that changes the display mode of the second object when the first object related to the specific area is detected.
  • An image processing apparatus includes an object information acquisition unit 152 that acquires information on a specific area and information on a first object, and a position information that determines whether the user is located within the specific area based on the user's position information. an information processing unit, an object detection unit 153 for detecting a first object and a second object related to the specific area and the first object from the image data, and determining that the user is located within the specific area, and and a display mode changing unit 154 that changes the display mode of the second object when the first object is detected.
  • this configuration it is possible to detect a specific object from the image data and add information for changing the display mode of the object to the image data in response to a request from a user existing in the specific area. This makes it possible to provide an image that meets the user's request.
  • the image processing apparatus of the eighth aspect includes a specific area information acquisition unit (object information acquisition unit 152) that acquires information on a specific area, and a position information that determines whether the user's position is within the specific area based on the user's position information.
  • an information processing unit an object detection unit 153 that detects an object (second object) related to a specific area from image data; and a display mode changing unit 154 for changing the display mode of the object).
  • An image processing method of a ninth aspect includes the steps of obtaining information on a first object, detecting from image data the first object and a second object related to the first object, and and if detected, changing the presentation of the second object.
  • a program comprises the steps of acquiring information on a first object, detecting the first object and a second object related to the first object from image data, If so, cause the computer to execute a step of changing the display mode of the second object.
  • the embodiment is not limited by the contents of these embodiments.
  • the components described above include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those within the so-called equivalent range.
  • the components described above can be combined as appropriate, and it is also possible to combine the configurations of the respective embodiments.
  • various omissions, replacements, or modifications of components can be made without departing from the gist of the above-described embodiments.
  • the image processing device, image processing method, and program of this embodiment can be used, for example, for image display.
  • image processing system 100 image processing device 110 input unit 120 output unit 130 communication unit 140 storage unit 150 control unit 151 image data acquisition unit 152 object information acquisition unit 153 object detection unit 154 display mode change unit 200 imaging unit D display mode change information O10 Syringe O15, O25, O26, O27 Signboard O20, O21, O22 Face PM, PM1, PM2 Main image PS, PS1, PS2, PS3 Sub image U User

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザの要求に対応した画像を提供する。画像処理装置は、第１オブジェクトの情報を取得するオブジェクト情報取得部と、画像データから、第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更する表示態様変更部と、を備える。

Description

画像処理装置、画像処理方法、プログラム
　本発明は画像処理装置、画像処理方法、プログラムに関する。
　従来、ユーザが視認する映像データについて、フレームごとに出力される画像データに基づいて、映像データがどのようなシーンであるかを示す情報を付与するものが開示されている（例えば、特許文献１）。
特開２０１８－４２２５３号公報
　しかし、特許文献１のように画像データを処理する際には、ユーザの要求に対応した画像を提供することが求められている。
　本実施形態は、上記に鑑みてなされたものであり、ユーザの要求に対応した画像を提供することが可能な画像処理装置、画像処理方法、プログラムを提供することを目的とする。
　本実施形態にかかる画像処理装置は、第１オブジェクトの情報を取得するオブジェクト情報取得部と、画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、を備える。
　本実施形態にかかる画像処理装置は、特定地域の情報と、第１オブジェクトの情報を取得するオブジェクト情報取得部と、ユーザの位置情報から、前記ユーザの位置が前記特定地域内であるか判断する位置情報処理部と、画像データから、前記特定地域に関連する前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、前記ユーザの位置が前記特定地域内と判断され、かつ前記特定地域に関連する前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、を備える。
　本実施形態にかかる画像処理方法は、第１オブジェクトの情報を取得するステップと、画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するステップと、前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、を含む。
　本実施形態にかかるプログラムは、第１オブジェクトの情報を取得するステップと、画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するステップと、前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、を含む。
　本実施形態によれば、画像データに基づいて、ユーザの要求に対応した画像を提供することが可能な画像処理装置を提供することができる。
図１は、本実施形態にかかる画像処理システムの一例を示す図である。 図２は、本実施形態にかかる画像処理装置が表示する画像の一例を示す図である。 図３は、本実施形態にかかる画像処理システムの一例を示す機能ブロック図である。 図４は、第１実施形態におけるメイン像とサブ画像を重畳したメイン像の一例を示す図である。 図５は、本実施形態にかかる表示態様変更情報の一例を示す図である。 図６は、本実施形態にかかるフローチャートである。 図７は、第２実施形態におけるメイン像とサブ画像を重畳したメイン像の一例を示す図である。
　以下、画像処理装置、画像処理法およびプログラムの実施形態を図面に基づいて説明する。なお、本実施形態によりこの発明が限定されるものではない。また、本実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
　（第１実施形態）
　図１は、本実施形態にかかる画像処理システムの一例を示す図である。第１実施形態にかかる画像処理システム１は、ユーザＵに、視覚刺激を出力することで、ユーザＵに情報を提供する装置である。図１に示すように、画像処理システム１は、ユーザＵの体に装着される、いわゆるウェアラブルデバイスである。本実施形態の例では、画像処理システム１は、ユーザＵの目に装着される画像処理装置１００を有する。ユーザＵの目に装着される画像処理装置１００はユーザＵに視覚刺激を出力する（画像を表示する）後述の出力部１２０を含む。ただし、図１の構成は一例であり、装置の数や、ユーザＵへの装着位置も任意であってよい。例えば、画像処理システム１は、ウェアラブルデバイスに限られず、ユーザＵに携帯される装置であってよく、例えばいわゆるスマートフォンやタブレット端末などであってもよい。
　（メイン像）
　図２は、本実施形態にかかる画像処理装置が表示する画像の一例を示す図である。図２に示すように、画像処理システム１は、出力部１２０を通して、ユーザＵにメイン像ＰＭを提供する。これにより、画像処理システム１を装着したユーザＵは、メイン像ＰＭを視認できる。メイン像ＰＭとは、本実施形態では、ユーザＵが画像処理システム１を装着していないと仮定した場合に、ユーザＵが視認することになる景色の像であり、ユーザＵの視野範囲に入る実在の対象物の像であるともいえる。視野範囲とは、ユーザＵの視線を中心とした、眼球を動かさないで見える範囲を指す。
　本実施形態では、画像処理システム１は、例えば出力部１２０から外光（周辺の可視光）を透過させることで、ユーザＵにメイン像ＰＭを提供する。すなわち、本実施形態では、ユーザＵは、出力部１２０を通して、実際の景色の像を直接視認しているといえる。ただし、画像処理システム１は、ユーザＵに実際の景色の像を直接視認させることに限られず、出力部１２０にメイン像ＰＭの画像を表示させることで、出力部１２０を通してユーザＵにメイン像ＰＭを提供してもよい。この場合、ユーザＵは、出力部１２０に表示された景色の画像を、メイン像ＰＭとして視認することとなる。この場合、画像処理システム１は、後述する撮像部２００が撮像した、ユーザＵの視野範囲に入る像を、メイン像ＰＭとして出力部１２０に表示させる。
　（サブ画像）
　図２に示すように、画像処理システム１は、出力部１２０を通して提供されるメイン像ＰＭに重畳するように、出力部１２０にサブ画像ＰＳを表示させる。これにより、ユーザＵは、メイン像ＰＭにサブ画像ＰＳが重畳された像を視認することとなる。サブ画像ＰＳとは、メイン像ＰＭに重畳される画像であり、ユーザＵの視野範囲に入る実在の景色以外の画像といえる。すなわち、画像処理システム１は、実在の景色であるメイン像ＰＭにサブ画像ＰＳを重畳させることで、ユーザＵにＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を提供するといえる。
　このように、画像処理システム１は、メイン像ＰＭとサブ画像ＰＳとを提供するが、それ以外にも、メイン像ＰＭとサブ画像ＰＳとは異なる画像を出力部１２０に表示させてもよく、任意の画像であってよい。
　（画像処理システムの構成）
　図３は、本実施形態にかかる画像処理システムの一例を示す機能ブロック図である。図３に示すように、画像処理システム１は、画像処理装置１００と、撮像部２００とを備える。画像処理装置１００は、入力部１１０と、出力部１２０と、記憶部１４０と、通信部１３０と、制御部１５０とを備える。
　（撮像部）
　撮像部２００は、撮像装置であり、環境情報として、画像処理システム１の周辺の可視光を検出することで、画像処理システム１の周辺を撮像する。撮像部２００は、所定のフレームレート毎に撮像するビデオカメラであってよい。画像処理システム１において撮像部２００の設けられる位置や向きは任意であるが、例えば、撮像部２００は、図１に示す画像処理装置１００に設けられており、撮像方向がユーザＵの顔が向いている方向であってよい。これにより、撮像部２００は、ユーザＵの視線の先にある対象物を、すなわちユーザＵの視野の範囲に入る対象物を、撮像できる。また、撮像部２００の数は任意であり、単数であっても複数であってもよい。
　（入力部）
　入力部１１０は、ユーザの操作を受け付ける装置であり、例えばタッチパネルなどであってよい。
　（出力部）
　出力部１２０は、画像を表示することでユーザＵの視覚刺激を出力するディスプレイであり、視覚刺激出力部と言い換えることもできる。本実施形態では、出力部１２０は、いわゆるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）である。出力部１２０は、上述のように、サブ画像ＰＳを表示する。なお、出力部１２０は、音声を出力する音声出力部（スピーカ）や、ユーザＵに触覚刺激を出力する触覚刺激出力部が備えられていてもよい。触覚刺激出力部は、振動などの物理的に作動することで、ユーザに触覚刺激を出力するが、触覚刺激の種類は、振動などに限られず任意のものであってよい。
　（通信部）
　通信部１３０は、外部の装置などと通信するモジュールであり、例えばアンテナなどを含んでよい。通信部１３０による通信方式は、本実施形態では無線通信であるが、通信方式は任意であってよい。
　(制御部)
　制御部１５０は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。制御部１５０は、画像データ取得部１５１と、オブジェクト情報取得部１５２と、オブジェクト検出部１５３と、表示態様変更部１５４と、を含む。制御部１５０は、記憶部１４０からプログラム（ソフトウェア）を読み出して実行することで、画像データ取得部１５１とオブジェクト情報取得部１５２とオブジェクト検出部１５３と表示態様変更部１５４とを実現して、それらの処理を実行する。なお、制御部１５０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、画像データ取得部１５１とオブジェクト情報取得部１５２とオブジェクト検出部１５３と表示態様変更部１５４との少なくとも一部を、ハードウェアで実現してもよい。
　（画像データ取得部）
　画像データ取得部１５１は、撮像部２００を通じて画像データを取得する。本実施形態において画像データとは、メイン像ＰＭの画像であり、ユーザＵが画像処理システム１を装着していないと仮定した場合に、ユーザＵが視認することになる環境像であり、ユーザＵの視野範囲に入る実在の対象物の像ともいえる。画像データ取得部１５１は、画像データを記憶部１４０から取得してもよい。
　図４は、第１実施形態におけるメイン像とサブ画像を重畳したメイン像の一例を示す図である。図４の例では、画像データ取得部１５１は、ユーザＵが視認しているメイン像ＰＭ１を画像データとして取得する。図４の例では、メイン像ＰＭ１とは、子供であるユーザＵが、保護者の立ち合いのもと、看護師に注射を受ける場面であり、注射器Ｏ１０と、人間の顔Ｏ２０とを含む。以下、例として注射の場面で本実施形態を説明するが、本実施形態はこの例に限定されない。
　（オブジェクト情報取得部）
　オブジェクト情報取得部１５２は、第１オブジェクトの情報を取得する。第１オブジェクトの情報とは、第１オブジェクトとして指定するオブジェクトの情報である。オブジェクト情報取得部１５２は、第１オブジェクトの種類を示す情報（第１オブジェクトがどのようなオブジェクトであるかを示す情報）を取得するともいえる。本実施形態において、オブジェクト情報取得部１５２は、ユーザＵが注視することで恐怖感や嫌悪感を覚えるオブジェクトの情報を、第１オブジェクトの情報として取得する。
　ここで、オブジェクトとは、一定の形状を有し、視覚で捉えることのできる実在の対象物を指す。本実施形態において、第１オブジェクトとは、例えば、ユーザＵにとって恐怖感や嫌悪感のあるオブジェクトであり、第１オブジェクトは、ユーザＵが注視することでユーザＵの恐怖感や嫌悪感を強めるおそれがあるオブジェクトであるともいえる。図４の例では、注射器Ｏ１０が第１オブジェクトに相当する。
　（表示態様変更情報）
　本実施形態では、オブジェクト情報取得部１５２は、表示態様変更情報Ｄを取得する。図５は、本実施形態にかかる表示態様変更情報の一例を示す図である。表示態様変更情報Ｄとは、第１オブジェクトの情報と、第２オブジェクトの情報と、所定の条件と、第２オブジェクトの変更後の表示態様とを含んだ情報である。表示態様変更情報Ｄは、第１オブジェクトと、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様とが、関連付けられたデータといえる。第２オブジェクトとは、第１オブジェクトに関連するオブジェクトであり、ユーザＵが第１オブジェクトとともに視認する可能性が高いオブジェクトであるともいえる。所定の条件とは、第２オブジェクトの表示態様を変更する第２オブジェクトにかかる条件を指す。すなわち、所定の条件とは、複数種類の第２オブジェクトのうちから、表示態様を変更する第２オブジェクトを選択するための条件を指す。第２オブジェクトの変更後の表示態様とは、ユーザＵが視認することになる第２オブジェクトの表示態様を指し、より具体的には、第２オブジェクトに重畳されるサブ画像ＰＳを示す情報である。表示態様変更情報Ｄは、異なる第１オブジェクトに対して、第２オブジェクトの情報と、所定の条件と、第２オブジェクトの変更後の表示態様とを含んでもよい。すなわち、第１オブジェクトが複数種類設定され、それぞれの第１オブジェクト毎に、表示態様変更情報Ｄが設定されてよい。
　オブジェクト情報取得部１５２は、任意の方法で表示態様変更情報Ｄを取得してよく、例えば、ユーザＵが、第１オブジェクトと、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様とを入力してもよい。また、オブジェクト情報取得部１５２が、ユーザＵが入力した第１オブジェクトの情報に基づいて、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様とを決めてもよい。また、ユーザＵの入力による表示態様変更情報Ｄの設定は必須でなく、デフォルトで決められていてもよい。
　（オブジェクト検出部）
　オブジェクト検出部１５３は、表示態様変更情報Ｄに基づいて、画像データから、第１オブジェクトと、関連する第２オブジェクトとを検出する。より具体的には、オブジェクト検出部１５３は、表示態様変更情報Ｄで指定されている第１オブジェクトと、表示態様変更情報Ｄでその第１オブジェクトに対応付けられている第２オブジェクトとが、画像データ（ユーザが視認しているメイン像ＰＭ１）に含まれているかを、検出する。オブジェクト検出部１５３は、任意の方法で第１オブジェクトと第２オブジェクトとを検出してよく、例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデルを用いて第１オブジェクトと第２オブジェクトとを検出してもよい。この場合のＡＩモデルは、記憶部１４０に記憶されており、画像データから、画像に写っているオブジェクトを抽出して種類を特定するためのモデルである。ＡＩモデルは、画像データと、その画像に写っているオブジェクトの種類を示す情報とを１つのデータセットとし、複数のデータセットを教師データとして学習して構築された、学習済みのＡＩモデルとなっている。図４の例では、第１オブジェクトとして注射器Ｏ１０が設定されており、第２オブジェクトとして人間の顔Ｏ２０が設定されている。そのため、オブジェクト検出部１５３は、画像データから第１オブジェクトである注射器Ｏ１０と、表示態様変更情報Ｄにおいて注射器Ｏ１０と対応する第２オブジェクトである人間の顔Ｏ２０とを、検出する。
　（表示態様変更部）
　表示態様変更部１５４は、第１オブジェクトが検出された場合に、第２オブジェクトの表示態様を変更する。本実施形態では、表示態様変更部１５４は、第１オブジェクトと第２オブジェクトが同じ画像データから検出された際に、表示態様変更情報Ｄに基づいて、所定の条件を満たす第２オブジェクトの表示態様を変更する。具体的には、表示態様変更部１５４は、画像データから検出された第２オブジェクトが、表示態様変更情報Ｄで示される所定の条件を満たすかを判断する。
　第２オブジェクトが複数検出された場合には、表示態様変更部１５４は、それぞれの第２オブジェクトについて、表示態様変更情報Ｄで示される所定の条件を満たすかを判断し、所定の条件を満たす第２オブジェクトを抽出する。そして、表示態様変更部１５４は、所定の条件を満たす第２オブジェクトと重畳する位置に、サブ画像ＰＳを表示させることで第２オブジェクトの表示態様を変更する。より詳しくは、表示態様変更部１５４は、所定の条件を満たす第２オブジェクトと重畳する位置に、表示態様変更情報Ｄで示されるサブ画像ＰＳを表示させる。表示態様変更部１５４は、所定の条件を満たさない第２オブジェクトに対しては、重畳する位置にサブ画像ＰＳを表示せず、第２オブジェクトの表示態様は変更されない。
　本実施形態では、サブ画像ＰＳは、メイン像ＰＭに含まれている特定の対象物である第１オブジェクトを注視しにくくさせるため第２オブジェクト上に表示される画像であり、ユーザＵが第１オブジェクトを注視しにくくするものであれば、文字やアイコン等、任意の画像でよく、それらを組み合わせてもよい。図４の例では、表示態様を変更する第２オブジェクトの条件として、ユーザＵの保護者の顔Ｏ２２ではないことが課せられており、注射器Ｏ１０と人間の顔Ｏ２１が検出された場合、表示態様変更部１５４は、条件を満たす看護師の顔Ｏ２１のみに、サブ画像ＰＳ１として例えばウサギの顔の画像を重畳する。一方、表示態様変更部１５４は、所定の条件を満たさない保護者の顔Ｏ２２には、サブ画像ＰＳ１を重畳しない。この場合、ユーザＵは保護者の顔Ｏ２２をそのまま視認することになる。
　なお、以上の説明では、第１オブジェクトと、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様との組み合わせが、表示態様変更情報Ｄとして予め設定されていたが、それに限られない。例えば、第２オブジェクトの変更後の表示態様であるサブ画像ＰＳは予め設定されていなくてもよく、第２オブジェクトに対して、任意の画像を重畳表示してもよい。また、第２オブジェクトの変更後の表示態様は、第２オブジェクトに重畳されるサブ画像ＰＳに限られず、第２オブジェクトに対して色調の調整やぼかし等、光学処理を施したものでもよい。以上の説明では、第２オブジェクト（ここでは人間の顔Ｏ２０）を検出して、その中で所定の条件を満たす第２オブジェクト（ここでは看護師の顔Ｏ２１）のみの表示態様を変化させたが、それに限られない。例えば、第２オブジェクト検出時に所定の条件を課しておき、オブジェクト検出部１５３が、所定の条件を満たす第２オブジェクトを検出してよい。すなわち、オブジェクト検出部１５３は、人間の顔Ｏ２０をすべて検出せずに、看護師の顔Ｏ２１のみを検出してよい。また、所定の条件は必ずしも必要とはせずに、表示態様変更部１５４は、第１オブジェクトが検出された場合に、第２オブジェクトの表示態様を変更してもよい。
　（記憶部）
　記憶部１４０は、制御部１５０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部１４０には、表示態様変更情報Ｄが記憶されている。なお、表示態様変更情報Ｄや、記憶部１４０が保存する制御部１５０用のプログラムは、画像処理システム１が読み取り可能な記録媒体に記憶されていてもよい。また、記憶部１４０が保存する制御部１５０用のプログラムや、表示態様変更情報Ｄは、記憶部１４０に予め記憶されていることに限られず、これらのデータを使用する際に、画像処理システム１が通信部１３０によって外部の装置から取得してもよい。
　（効果）
　ここで、ユーザの要求に対応した画像を提供することが求められている。それに対し、本実施形態によれば、第１オブジェクトを設定し、関連する第２オブジェクトの表示態様を変更することで、ユーザＵの注意を第２オブジェクトに向けることができる。そのため第１オブジェクトを、例えば、ユーザＵにとって恐怖感や嫌悪感のあるオブジェクトに設定することで、ユーザＵは第１オブジェクトを注視しにくくなる。これにより、ユーザの要求に対応した画像を提供することができる。
　（フローチャート）
　図６は、本実施形態にかかるフローチャートである。以下、画像処理装置１００による処理内容について説明する。
　画像データ取得部１５１は、撮像部２００を通じて画像データを取得する（ステップＳ１０）。次いで、オブジェクト検出部１５３は、表示態様変更情報Ｄに基づいて、画像データから第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトと、を検出する（ステップＳ２０）。ここで第１オブジェクトが画像データから検出され（ステップＳ３０；Ｙｅｓ）、表示態様変更部１５４は、第２オブジェクトが所定の条件を満たす場合（ステップＳ４０；Ｙｅｓ）、その第２オブジェクトの表示態様を変更する（ステップＳ５０）。ここで、第２オブジェクトが所定の条件を満たさない場合（ステップＳ４０；Ｎｏ）、表示態様変更部１５４は、その第２オブジェクトの表示態様を変更しない。このときユーザＵはメイン像ＰＭの、所定の条件を満たす第２オブジェクトにサブ画像ＰＳが重畳された像、すなわち所定の条件を満たす第２オブジェクトの表示態様が変更されたメイン像を視認することになる。一方で、ステップＳ３０で第１オブジェクトが画像データから検出されなかった場合（ステップＳ３０；Ｎｏ）、第２オブジェクトの表示態様の変更は行われない。このときユーザＵはメイン像ＰＭのみを視認することになる。
　（第２実施形態）
　第２実施形態は、ユーザＵが第１オブジェクトを認識しやすくするよう第２オブジェクトの表示態様を変更する点で第１実施形態と異なる。第２実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。
　（画像データ取得部）
　図７は、第２実施形態におけるメイン像とサブ画像を重畳したメイン像の一例を示す図である。図７の例では、画像データ取得部１５１は、ユーザＵが視認しているメイン像ＰＭ２を画像データとして取得する。図７の例では、メイン像ＰＭ２とは、ユーザＵが繁華街で店舗Ａの看板を探す場面であり、店舗Ａの看板Ｏ１５と、全ての店舗の看板Ｏ２５とを含む。以下、例として店舗の看板の場面で本実施形態を説明するが、本実施形態はこの例に限定されない。
　（オブジェクト情報取得部）
　本実施形態において、オブジェクト情報取得部１５２は、ユーザＵが認識する必要のあるオブジェクトの情報を、第１オブジェクトの情報として取得する。本実施形態において、第１オブジェクトとは、例えば、ユーザＵが認識することを所望するオブジェクトであり、第１オブジェクトは、ユーザＵがメイン像ＰＭ２から見つけ出したいオブジェクトであるともいえる。
　（オブジェクト検出部）
　図７の例では、オブジェクト検出部１５３は、画像データから第１オブジェクトである店舗Ａの看板Ｏ１５と、表示態様変更情報Ｄにおいて店舗Ａの看板Ｏ１５と対応する第２オブジェクトである全ての店舗の看板Ｏ２５とを、検出する。
　（表示態様変更部）
　本実施形態において、サブ画像ＰＳは、メイン像ＰＭに含まれている特定の対象物である第１オブジェクトを認識しやすくするため第２オブジェクト上に表示される画像であり、ユーザＵが第１オブジェクトを認識しやすくするものであれば、文字やアイコン等、任意の画像でよく、それらを組み合わせてもよい。図７の例では、表示態様を変更する第２オブジェクトの条件として、店舗Ａの看板Ｏ１５ではないことが課せられており、店舗Ａの看板Ｏ１５と全ての店舗の看板Ｏ２５が検出された場合、表示態様変更部１５４は、例えば、条件を満たす店舗Ｂの看板Ｏ２６の文字である文字情報を消すようにサブ画像ＰＳ２を重畳させたり、条件を満たす店舗Ｃの看板Ｏ２７自体を消すようにサブ画像ＰＳ３を重畳させたりするなどの処理を行う。一方、所定の条件を満たさない店舗Ａの看板Ｏ１５は、サブ画像ＰＳ２またはサブ画像ＰＳ３が重畳されず、ユーザＵは店舗Ａの看板Ｏ１５をそのまま視認することになる。
　（効果）
　本実施形態によれば、第１オブジェクトを設定し、関連する第２オブジェクトの表示態様を変更することで、ユーザＵの注意を第１オブジェクトに向けることができる。そのため第１オブジェクトを、例えば、ユーザＵが見つけ出したいオブジェクトに設定することで、ユーザＵは第１オブジェクトを認識しやすくなる。これにより、ユーザの要求に対応した画像を提供することができる。
　（第３実施形態）
　第３実施形態は、制御部１５０は、さらに位置情報処理部を備え、特定地域の情報に基づいて第２オブジェクトの表示態様を変更する点で第１実施形態と異なる。第３実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。
　（表示態様変更情報）
　本実施形態では、表示態様変更情報Ｄは、特定地域の情報をさらに含んだ情報である。特定地域とは、ユーザが存在しうる特定の地理的な範囲であり、例えば、ユーザＵが、画像処理システム１を使用することが想定される地域を指す。ここで、本実施形態において、第１オブジェクトとは、例えば、特定地域において特徴的なオブジェクトであり、第１オブジェクトは、ユーザＵが特定地域において視認する可能性が高いオブジェクトであるともいえる。表示態様変更情報Ｄは、異なる特定地域に対して、第１オブジェクトの情報と、第２オブジェクトの情報と、第２オブジェクトの変更後の表示態様とを含んでもよい。すなわち、特定地域が複数設定され、それぞれの特定地域毎に、表示態様変更情報Ｄが設定されてもよい。
　（位置情報処理部）
　本実施形態では、位置情報処理部は、ユーザの位置情報を取得し、表示態様変更情報Ｄに基づいて、ユーザの位置が特定地域内であるかを判断する。ここで、ユーザの位置情報とは、ユーザＵが実在する地理的な位置をいう。位置情報処理部は、任意の方法でユーザの位置情報を取得してよく、例えば通信部１３０を通じてユーザの位置情報を取得してよい。
　（オブジェクト検出部）
　本実施形態では、オブジェクト検出部１５３は、表示態様変更情報Ｄに基づいて、画像データから、特定地域に関連する第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトを検出する。より具体的には、オブジェクト検出部１５３は、表示態様変更情報Ｄに基づいて、特定地域に対応付けられている第１オブジェクトと、表示態様変更情報Ｄでその第１オブジェクトに対応付けられている第２オブジェクトとが、画像データ（ユーザが視認しているメイン像）に含まれているかを、検出する。
　（表示態様変更部）
　本実施形態では、表示態様変更部１５４は、ユーザの位置が特定地域内であると判断され、かつ第１オブジェクトと第２オブジェクトが同じ画像データから検出された際に、表示態様変更情報Ｄに基づいて、所定の条件を満たす第２オブジェクトの表示態様を変更する。
　以上の説明では、表示態様変更情報Ｄとして、第１オブジェクトは特定地域に関連付けられ、第２オブジェクトは第１オブジェクトに関連付けられていたが、これに限られない。例えば、第１オブジェクトは特定地域と関連付けられていなくてもよく、第２オブジェクトが特定地域および第１オブジェクトに関連付けられて設定されてもよい。すなわち、ユーザの位置が特定地域内であり、かつ第１オブジェクトが画像データから検出された場合、その特定地域および第１オブジェクトに関連付けられた第２オブジェクトに対して、任意の画像を重畳表示してもよい。この場合、第２オブジェクトは、第１オブジェクト及び特定地域に関連するオブジェクトであり、ユーザＵが特定地域において第１オブジェクトともに視認する可能性が高いオブジェクトであるといえる。
　また、以上の説明では、特定地域と、第１オブジェクトと、第２オブジェクトと、所定の条件と、第２オブジェクトの変更後の表示態様との組み合わせが、表示態様変更情報Ｄとして予め設定されていたが、これに限られない。例えば、第１オブジェクトは設定されていなくてもよく、ユーザの位置が特定地域内である場合、その特定地域に関連付けられた第２オブジェクトに対して、任意の画像を重畳表示してもよい。この場合、第２オブジェクトは、特定地域に関連するオブジェクトであり、ユーザＵが特定地域において視認する可能性が高いオブジェクトであるといえる。
　（効果）
　本実施形態によれば、特定地域を設定し、関連する第２オブジェクトの表示態様を変更することで、ユーザＵが特定地域にいる場合に限って、第２オブジェクトの表示態様を変更することができる。これにより、ユーザの要求に対応した画像を提供することができる。
　（本実施形態の効果）
　各実施形態に記載の画像処理装置、画像処理方法、およびプログラムは、例えば以下のように把握される。
　第１の態様の画像処理装置は、第１オブジェクトの情報を取得するオブジェクト情報取得部１５２と、画像データから、第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部１５３と、第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更する表示態様変更部１５４と、を備える。この構成によれば、ユーザの要求に応じて、画像データから特定のオブジェクトを検出し、オブジェクトの表示態様を変更する情報を画像データに付与することができる。これによりユーザの要求に対応した画像を提供することができる。
　第２の態様の画像処理装置は、第２オブジェクトが所定の条件を満たす場合に、その第２オブジェクトの表示態様を変更し、第２オブジェクトが所定の条件を満たさない場合には、その第２オブジェクトの表示態様を変更しない。これにより、第２オブジェクトに対して選択的に表示態様を変更することができるので、よりユーザの要求に対応することができる。
　第３の態様の画像処理装置は、オブジェクト情報取得部１５２は、第１オブジェクトと、第２オブジェクトと、第２オブジェクトの変更後の表示態様と、が関連付けられたデータである表示態様変更情報Ｄを取得し、表示態様変更部は、第１オブジェクトが検出された場合には、表示態様変更情報Ｄに基づき、第２オブジェクトの表示態様を変更する。これにより、複数の異なる第１オブジェクトに対して、それぞれ対応する第２オブジェクトの表示態様を変更することができるので、よりユーザの要求に対応することができる。
　第４の態様の画像処理装置は、画像を視認するユーザＵが第１オブジェクトを注視しにくくするように、第２オブジェクトの表示態様を変更する。これにより、ユーザが第１オブジェクトの注視を避ける必要のある場合、第２オブジェクトが目立つように表示態様を変更することで、第１オブジェクトへの注視を回避しやすくなるため、よりユーザの要求に対応することができる。
　第５の態様の画像処理装置は、画像を視認するユーザＵが第１オブジェクトを認識しやすくなるように、第２オブジェクトの表示態様を変更する。具体的には、第５の態様の画像処理装置は、第２オブジェクトの表示態様を第２オブジェクト内における文字情報を削除する表示態様へ変更する。これにより、ユーザが第１オブジェクトの認識する必要のある場合、第２オブジェクトが目立たないように表示態様を変更することで、第１オブジェクトの認識が容易になるため、よりユーザの要求に対応することができる。
　第６の態様の画像処理装置は、特定地域の情報と、第１オブジェクトの情報を取得するオブジェクト情報取得部１５２と、ユーザの位置情報から、ユーザの位置が特定地域内であるか判断する位置情報処理部と、画像データから、特定地域に関連する第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部１５３と、ユーザの位置が特定地域内であると判断され、かつ特定地域に関連する第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更する表示態様変更部１５４と、を備える。この構成によれば、特定地域に存在するユーザの要求に応じて、画像データから特定のオブジェクトを検出し、オブジェクトの表示態様を変更する情報を画像データに付与することができる。これによりユーザの要求に対応した画像を提供することができる。
　第７の態様の画像処理装置は、特定地域の情報と、第１オブジェクトの情報を取得するオブジェクト情報取得部１５２と、ユーザの位置情報から、ユーザの位置が特定地域内であるか判断する位置情報処理部と、画像データから、第１オブジェクトと、特定地域及び第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部１５３と、ユーザの位置が特定地域内であると判断され、かつ第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更する表示態様変更部１５４とを備える。この構成によれば、特定地域に存在するユーザの要求に応じて、画像データから特定のオブジェクトを検出し、オブジェクトの表示態様を変更する情報を画像データに付与することができる。これによりユーザの要求に対応した画像を提供することができる。
　第８の態様の画像処理装置は、特定地域の情報を取得する特定地域情報取得部（オブジェクト情報取得部１５２）と、ユーザの位置情報から、ユーザの位置が特定地域内であるか判断する位置情報処理部と、画像データから、特定地域に関連するオブジェクト（第２オブジェクト）を検出するオブジェクト検出部１５３と、ユーザの位置が特定地域内であると判断された場合には、オブジェクト（第２オブジェクト）の表示態様を変更する表示態様変更部１５４とを備える。この構成によれば、特定地域に存在するユーザの要求に応じて、画像データから特定のオブジェクトを検出し、オブジェクトの表示態様を変更する情報を画像データに付与することができる。これによりユーザの要求に対応した画像を提供することができる。
　第９の態様の画像処理方法は、第１オブジェクトの情報を取得するステップと、画像データから、第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するステップと、第１オブジェクトが検出された場合には、第２オブジェクトの表示態様を変更するステップと、を含む。
　第１０の態様のプログラムは、第１オブジェクトの情報を取得するステップと、画像データから、第１オブジェクトと、第１オブジェクトに関連する第２オブジェクトとを検出するステップと、第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、をコンピュータに実行させる。
　以上、本実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態の画像処理装置、画像処理方法、プログラムは、例えば画像表示に利用することができる。
１　画像処理システム
１００　画像処理装置
１１０　入力部
１２０　出力部
１３０　通信部
１４０　記憶部
１５０　制御部
１５１　画像データ取得部
１５２　オブジェクト情報取得部
１５３　オブジェクト検出部
１５４　表示態様変更部
２００　撮像部
Ｄ　表示態様変更情報
Ｏ１０　注射器
Ｏ１５、Ｏ２５、Ｏ２６、Ｏ２７　看板
Ｏ２０、Ｏ２１、Ｏ２２　顔
ＰＭ，ＰＭ１，ＰＭ２　メイン像
ＰＳ，ＰＳ１，ＰＳ２，ＰＳ３　サブ画像
Ｕ　ユーザ

Claims (7)

  1. 　第１オブジェクトの情報を取得するオブジェクト情報取得部と、
    　画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、
    　前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、
    　を備える、画像処理装置。
  2. 　前記表示態様変更部は、前記第２オブジェクトが所定の条件を満たす場合に、その第２オブジェクトの表示態様を変更し、前記第２オブジェクトが前記所定の条件を満たさない場合には、その第２オブジェクトの表示態様を変更しない、
    　請求項１に記載の画像処理装置。
  3. 　前記オブジェクト情報取得部は、前記第１オブジェクトと、前記第２オブジェクトと、前記第２オブジェクトの変更後の表示態様と、が関連付けられたデータである表示態様変更情報を取得し、
    　前記表示態様変更部は、前記第１オブジェクトが検出された場合には、前記表示態様変更情報に基づき、前記第２オブジェクトの表示態様を変更する、
    　請求項１または請求項２に記載の画像処理装置。
  4. 　前記表示態様変更部は、前記第２オブジェクトの表示態様を前記第２オブジェクト内における文字情報を削除する表示態様へ変更する、
    　請求項１から請求項３のいずれか１項に記載の画像処理装置。
  5. 　特定地域の情報と、第１オブジェクトの情報を取得するオブジェクト情報取得部と、
    　ユーザの位置情報から、前記ユーザの位置が前記特定地域内であるか判断する位置情報処理部と、
    　画像データから、前記特定地域に関連する前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するオブジェクト検出部と、
    　前記ユーザの位置が前記特定地域内であると判断され、かつ前記特定地域に関連する前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更する表示態様変更部と、
    　を備える、画像処理装置。
  6. 　第１オブジェクトの情報を取得するステップと、
    　画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するステップと、
    　前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、
    　を含む、画像処理方法。
  7. 　第１オブジェクトの情報を取得するステップと、
    　画像データから、前記第１オブジェクトと、前記第１オブジェクトに関連する第２オブジェクトとを検出するステップと、
    　前記第１オブジェクトが検出された場合には、前記第２オブジェクトの表示態様を変更するステップと、
    　をコンピュータに実行させる、プログラム。
PCT/JP2022/024980 2021-06-25 2022-06-22 画像処理装置、画像処理方法、プログラム WO2022270558A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/393,809 US20240119643A1 (en) 2021-06-25 2023-12-22 Image processing device, image processing method, and computer-readable storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021105936 2021-06-25
JP2021-105936 2021-06-25
JP2022-032920 2022-03-03
JP2022032920A JP2023004849A (ja) 2021-06-25 2022-03-03 画像処理装置、画像処理方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/393,809 Continuation US20240119643A1 (en) 2021-06-25 2023-12-22 Image processing device, image processing method, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2022270558A1 true WO2022270558A1 (ja) 2022-12-29

Family

ID=84545470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/024980 WO2022270558A1 (ja) 2021-06-25 2022-06-22 画像処理装置、画像処理方法、プログラム

Country Status (2)

Country Link
US (1) US20240119643A1 (ja)
WO (1) WO2022270558A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099401A (ja) * 2004-09-29 2006-04-13 Canon Inc 画像処理装置および画像処理方法
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2016111174A1 (ja) * 2015-01-06 2016-07-14 ソニー株式会社 エフェクト生成装置およびエフェクト生成方法、並びにプログラム
WO2019058492A1 (ja) * 2017-09-22 2019-03-28 マクセル株式会社 表示システム及び表示方法
JP2020129356A (ja) * 2019-02-07 2020-08-27 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099401A (ja) * 2004-09-29 2006-04-13 Canon Inc 画像処理装置および画像処理方法
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2016111174A1 (ja) * 2015-01-06 2016-07-14 ソニー株式会社 エフェクト生成装置およびエフェクト生成方法、並びにプログラム
WO2019058492A1 (ja) * 2017-09-22 2019-03-28 マクセル株式会社 表示システム及び表示方法
JP2020129356A (ja) * 2019-02-07 2020-08-27 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末

Also Published As

Publication number Publication date
US20240119643A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
US10534428B2 (en) Image processing device and image processing method, display device and display method, and image display system
US9466266B2 (en) Dynamic display markers
US20210350762A1 (en) Image processing device and image processing method
CN111788543A (zh) 具有注视跟踪的图像增强设备
US20140285518A1 (en) Mixed reality presenting system, virtual reality presenting system, display apparatus, information processing apparatus, control method, and program
US10403048B2 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
CN111095364A (zh) 信息处理装置、信息处理方法和程序
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US20220189433A1 (en) Application programming interface for setting the prominence of user interface elements
CN109032350B (zh) 眩晕感减轻方法、虚拟现实设备及计算机可读存储介质
US10586392B2 (en) Image display apparatus using foveated rendering
JP6515512B2 (ja) 表示装置、表示装置のキャリブレーション方法、およびキャリブレーションプログラム
WO2022270558A1 (ja) 画像処理装置、画像処理方法、プログラム
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
JP2023004849A (ja) 画像処理装置、画像処理方法、プログラム
JP2021124520A (ja) 画像表示装置、画像表示用プログラム及び画像表示方法
JP2017097854A (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
JP7094759B2 (ja) システム、情報処理方法及びプログラム
JP7528951B2 (ja) 表示端末装置
US11543667B2 (en) Head-mounted display generated status message
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
JP2022086565A (ja) 表示装置、表示方法及びプログラム
JP2022086885A (ja) 表示装置、表示方法及びプログラム
JP2022086549A (ja) 表示装置、表示方法及びプログラム
JP2020161163A (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22828474

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22828474

Country of ref document: EP

Kind code of ref document: A1