WO2022065372A1 - 記憶装置、記憶方法、およびプログラム - Google Patents

記憶装置、記憶方法、およびプログラム Download PDF

Info

Publication number
WO2022065372A1
WO2022065372A1 PCT/JP2021/034825 JP2021034825W WO2022065372A1 WO 2022065372 A1 WO2022065372 A1 WO 2022065372A1 JP 2021034825 W JP2021034825 W JP 2021034825W WO 2022065372 A1 WO2022065372 A1 WO 2022065372A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
unit
line
storage device
Prior art date
Application number
PCT/JP2021/034825
Other languages
English (en)
French (fr)
Inventor
隆幸 菅原
哲也 諏訪
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020160130A external-priority patent/JP2022053339A/ja
Priority claimed from JP2020160129A external-priority patent/JP2022053338A/ja
Priority claimed from JP2020159527A external-priority patent/JP2022052972A/ja
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Priority to CN202180059522.7A priority Critical patent/CN116134437A/zh
Priority to EP21872501.8A priority patent/EP4202746A4/en
Publication of WO2022065372A1 publication Critical patent/WO2022065372A1/ja
Priority to US18/182,421 priority patent/US20230216672A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0872Generation of secret information including derivation or calculation of cryptographic keys or passwords using geo-location information, e.g. location data, time, relative position or proximity to other entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107File encryption

Definitions

  • This disclosure relates to storage devices, storage methods, and programs.
  • Wearable devices worn by users are coming out in a wide variety of forms, such as HMD (Head Mounted Display) type and eyeglass type. Some such wearable devices have a function of capturing a moving image in the direction of the user's line of sight with a camera and recording the captured image.
  • HMD Head Mounted Display
  • eyeglass type Some such wearable devices have a function of capturing a moving image in the direction of the user's line of sight with a camera and recording the captured image.
  • Patent Document 1 describes a technique for matching a place where a photographer is looking with a place where a photographer is taking a picture in an image pickup device worn on an ear or a head.
  • Patent Document 2 describes a device having a function of preventing eavesdropping and falsification of digitally recorded image data.
  • the image in the line-of-sight direction of the user is appropriately stored so as not to be easily accessible in order to protect the privacy of the user and the privacy of the target. There is a need to. It was
  • the storage device includes a biological sensor that detects a user's biological information, an image acquisition unit that acquires an image of the user's surroundings from an imaging unit, and an image of the user's surroundings.
  • a biological sensor that detects a user's biological information
  • an image acquisition unit that acquires an image of the user's surroundings from an imaging unit
  • an image of the user's surroundings To encrypt the line-of-sight image based on the image processing unit that separates the line-of-sight image related to the image in the line-of-sight direction of the user and the peripheral image related to an image other than the line-of-sight image, and the biometric information of the user.
  • An encryption unit that generates the encryption key of the above and encrypts the line-of-sight image using the encryption key
  • a storage control unit that stores the line-of-sight image encrypted by the encryption unit in the storage unit. Be prepared.
  • the storage method includes a step of detecting the biometric information of the user, a step of acquiring an image of the surroundings of the user from the imaging unit, and an image of the surroundings of the user of the user. Based on the step of separating the line-of-sight image related to the line-of-sight image and the peripheral image related to the image other than the line-of-sight image and the biometric information of the user, an encryption key for encrypting the line-of-sight image is generated. A step of encrypting the line-of-sight image using the encryption key and a step of storing the encrypted line-of-sight image in the storage unit are included.
  • the program includes a step of detecting a user's biological information, a step of acquiring an image of the user's surroundings from an imaging unit, and a user's line of sight among the images of the user's surroundings. Based on the step of separating the line-of-sight image related to the direction image and the peripheral image related to the image other than the line-of-sight image and the biometric information of the user, an encryption key for encrypting the line-of-sight image is generated.
  • the computer is made to execute a step of encrypting the line-of-sight image using the encryption key and a step of storing the encrypted line-of-sight image in the storage unit.
  • FIG. 1A is a schematic diagram showing a first example of the storage device according to the first embodiment.
  • FIG. 1B is a schematic diagram showing a first example of the storage device according to the first embodiment.
  • FIG. 2 is a schematic diagram showing a second example of the storage device according to the first embodiment.
  • FIG. 3 is a block diagram showing a configuration example of the storage device according to the first embodiment.
  • FIG. 4 is a flowchart showing an example of the processing flow of the storage device according to the first embodiment.
  • FIG. 5 is a flowchart showing an example of the processing flow of the storage device according to the second embodiment.
  • FIG. 6 is a block diagram showing a configuration example of the storage device according to the third embodiment.
  • FIG. 7A is a diagram for explaining encryption in the ECB mode.
  • FIG. 7B is a diagram for explaining decoding in the ECB mode.
  • FIG. 8A is a diagram for explaining encryption in OFB mode.
  • FIG. 8B is a diagram for explaining decoding in the OFB mode.
  • FIG. 9 is a flowchart showing a processing flow of the storage device according to the third embodiment.
  • FIG. 10 is a diagram for explaining a method of determining whether or not the storage device has moved by a predetermined distance or more.
  • FIG. 11 is a diagram showing a configuration example of the storage device according to the fourth embodiment.
  • FIG. 12 is a flowchart showing an example of the processing flow of the storage device according to the fourth embodiment.
  • FIGS. 1A and 1B are schematic views showing a first example of the storage device according to the first embodiment.
  • 1A shows the front surface of the user U
  • FIG. 1B shows the rear surface of the user U.
  • the storage device 10 is a wearable device worn on the body of the user U.
  • the storage device 10 includes a device 10A worn in the eyes of the user U, a device 10B provided in the device 10A, and a device 10CL worn in the left ear of the user U. It includes a device 10CR mounted on the right ear of the user U and a device 10D mounted on the back of the head of the user U.
  • the device 10A is a spectacle-shaped display unit that displays an image.
  • the device 10B is a camera that captures an image in the line-of-sight direction of the user U.
  • the device 10CL is a microphone that picks up the sound from the left direction of the user U.
  • the device 10CR is a microphone that picks up the sound from the right direction of the user U.
  • the device 10C L and the device 10C R can be binaural microphones.
  • the device 10D is a camera that captures an image behind the user U.
  • FIG. 2 is a schematic diagram showing a second example of the storage device according to the first embodiment.
  • FIG. 2 shows the front of the user U.
  • the storage device 10 includes a device 10E worn in the eyes of the user U, a device 10B provided in the device 10D, a device 10CL worn in the left ear of the user U, and a user U. It includes a device 10CR mounted on the right ear and a device 10F mounted overhead of the user U.
  • the device 10D is a goggle-type display unit that displays an image, and is a so-called HMD.
  • the device 10F is a camera with a fisheye lens that captures a 360-degree image centered on the user U.
  • the device 10F can be a so-called all-sky camera.
  • FIG. 3 is a block diagram showing a configuration example of the storage device according to the first embodiment.
  • the storage device 10 includes a microphone 12, a camera 14, a biosensor 16, an input unit 18, an output unit 20, a communication unit 22, a storage unit 24, and a control unit 26. including.
  • the microphone 12 is a microphone that detects voice (sound wave information) around the storage device 10 (user U).
  • the microphone 12 includes, for example, a left microphone 12A and a right microphone 12B.
  • the left microphone 12A is attached to the left ear of the user U, for example.
  • the left microphone 12A detects the voice in the left direction of the storage device 10 (user U).
  • the right microphone 12B is attached to, for example, the right ear of the user U.
  • the right microphone 12B detects the voice in the right direction of the storage device 10 (user U).
  • the left microphone 12A and the right microphone 12B can be, for example, binaural microphones.
  • the microphone included in the microphone 12 is not limited to the left microphone 12A and the right microphone 12B.
  • the position, number, and the like of the microphones 12 provided in the storage device 10 may be arbitrary. For example, by using the microphone 12 and the directional microphone having directivity, the front, rear, left, and right sounds can be multiplexed and stored around the storage device 10 (user U).
  • the camera 14 is an image pickup device, and captures the periphery of the storage device 10 by detecting visible light around the storage device 10 (user U).
  • the camera 14 may be a video camera that captures images at predetermined frame rates.
  • the camera 14 includes a line-of-sight direction camera 14A and a peripheral camera 14B.
  • the line-of-sight direction camera 14A captures the line-of-sight direction of the user U.
  • the line-of-sight direction camera 14A is provided, for example, on the display unit 20A of the output unit 20 so that the line-of-sight direction of the user U can be imaged.
  • the line-of-sight direction camera 14A may be provided at a place other than the display unit 20A of the output unit 20.
  • the peripheral camera 14B captures a range other than the line-of-sight direction of the user U around the storage device 10 (user U).
  • the peripheral camera 14B is attached to the back of the head of the user U, for example, and images the rear of the user U.
  • the position and number of the line-of-sight direction camera 14A and the peripheral camera 14B provided in the storage device 10 may be arbitrary.
  • the line-of-sight direction camera 14A and the peripheral camera 14B may be integrally configured.
  • the camera 14 may be an all-sky camera mounted overhead of the user U.
  • the all-sky camera captures a 360-degree range centered on the storage device 10 (user U).
  • the camera 14 is composed of a plurality of cameras, and the plurality of cameras may capture a range of 360 degrees centered on the storage device 10 (user U).
  • the camera 14 has, for example, a gimbal mechanism or the like, and may image a range of 360 degrees around the storage device 10 (user U) while rotating by the gimbal mechanism.
  • the biosensor 16 is a sensor that detects the biometric information of the user U.
  • the biosensor 16 may be provided at any position as long as it can detect the biometric information of the user U.
  • the biometric information acquired by the biometric sensor 16 can be universal information unique to the user U.
  • the biological information includes, but is not limited to, personally identifiable information such as fingerprints, iris patterns of eyes, and vein shapes such as fingers and hands.
  • the biometric information may be a combination of information such as fingerprints and facial features.
  • the biological information may be the genetic information of the user U.
  • the biosensor 16 is realized by, for example, a fingerprint sensor, a vein sensor, a camera, or the like.
  • the input unit 18 receives various operations on the storage device 10.
  • the input unit 18 is realized by, for example, a button and a touch panel.
  • the output unit 20 outputs various information.
  • the output unit 20 includes, for example, a display unit 20A and an audio output unit 20B.
  • the display unit 20A displays various images.
  • the display unit 20A is, for example, a spectacle-type display or an HMD.
  • the voice output unit 20B outputs various voices.
  • the audio output unit 20B is a speaker.
  • the communication unit 22 executes communication with another external device.
  • the communication unit 22 is realized by, for example, a communication module such as Wi-Fi (registered trademark) and Bluetooth (registered trademark).
  • the communication unit 22 may have, for example, a function of executing communication with another external device by wire.
  • the storage unit 24 is a memory for storing various information such as calculation contents and programs of the control unit 26.
  • a RAM Random Access Memory
  • a main storage device such as a ROM (Read Only Memory)
  • an HDD HDD
  • the learning model 24A and the biological information 24B are stored in the storage unit 24.
  • the learning model 24A is an AI model used to recognize a specific object contained in an image based on the image.
  • the learning model 24A may be, for example, a trained model using a CNN (Convolutional Neural Network).
  • the learning model 24A is used to recognize privacy information related to privacy such as a person's face, a car license plate, and a house nameplate.
  • the learning model 24A may be trained to recognize, for example, a copyrighted work.
  • the biometric information 24B is biometric information including, for example, the fingerprint of the user U, the iris pattern of the eye, and the vein shape of a finger, a hand, or the like. That is, the biometric information 24B may be biometric information of a person who is authorized to use the storage device 10.
  • the control unit 26 controls the operation of each unit of the storage device 10.
  • the control unit 26 is realized by, for example, using a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like to execute a program stored in a storage unit (not shown) using a RAM or the like as a work area.
  • the control unit 26 may be realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the control unit 26 may be realized by a combination of hardware and software.
  • the control unit 26 includes a voice acquisition unit 30, an image acquisition unit 32, a biometric information acquisition unit 34, an authentication unit 36, a voice processing unit 38, an image processing unit 40, an image recognition unit 42, and an image processing unit. It includes 44, a multiplexing unit 46, an encryption unit 48, a storage control unit 50, an output control unit 52, and a communication control unit 54.
  • the voice acquisition unit 30 controls the microphone 12 to detect the voice around the storage device 10 (user U).
  • the voice acquisition unit 30 acquires the voice detected by the microphone 12. Details of the processing of the voice acquisition unit 30 will be described later.
  • the image acquisition unit 32 controls the camera 14 to image the periphery of the storage device 10 (user U).
  • the image acquisition unit 32 acquires an image captured by the camera 14. Details of the processing of the image acquisition unit 32 will be described later.
  • the biometric information acquisition unit 34 controls the biometric sensor 16 to detect the biometric information of the storage device 10 (user U).
  • the biological information acquisition unit 34 acquires the biological information detected by the biological sensor 16. Details of the processing of the biological information acquisition unit 34 will be described later.
  • the authentication unit 36 authenticates the user U.
  • the authentication unit 36 authenticates whether or not the user U is permitted to use the storage device 10 based on the biometric information acquired by the biometric information acquisition unit 34. The details of the processing of the authentication unit 36 will be described later.
  • the voice processing unit 38 performs various voice signal processing on the voice acquired from the microphone 12 by the voice acquisition unit 30. The details of the processing of the voice processing unit 38 will be described later.
  • the image processing unit 40 performs various image processing on the image acquired from the camera 14 by the image acquisition unit 32. The details of the processing of the image processing unit 40 will be described later.
  • the image recognition unit 42 recognizes a specific target from the image acquired by the image acquisition unit 32. The details of the processing of the image recognition unit 42 will be described later.
  • the image processing unit 44 performs various processing processes on the image acquired by the image acquisition unit 32.
  • the image processing unit 44 performs processing on a specific target recognized by the image recognition unit 42. The processing of the image processing unit 44 will be described later.
  • the multiplexing unit 46 multiplexes the voice acquired by the voice acquisition unit 30 and the voice acquired by the image acquisition unit 32.
  • the method of multiplexing may be arbitrary. Details of the processing of the multiplexing unit 46 will be described later.
  • the encryption unit 48 encrypts the data multiplexed by the multiplexing unit 46.
  • the encryption unit 48 encrypts the data multiplexed by the multiplexing unit 46 using a predetermined encryption method and an encryption key. The details of the processing of the encryption unit 48 will be described later.
  • the storage control unit 50 stores various information in the storage unit 24. The details of the processing of the memory control unit 50 will be described later.
  • the output control unit 52 controls the output unit 20 to output various information.
  • the output control unit 52 controls the display unit 20A to display various images.
  • the output control unit 52 controls the voice output unit 20B to output various voices.
  • the communication control unit 54 controls the communication unit 22.
  • the communication control unit 54 controls the communication unit 22 to send and receive various information to and from an external device.
  • FIG. 4 is a flowchart showing an example of the processing flow of the storage device according to the first embodiment.
  • the control unit 26 acquires voice information related to voice around the storage device 10 (user U) (step S10). Specifically, the voice acquisition unit 30 acquires the voice in the left direction of the storage device 10 (user U) detected by the left microphone 12A. The voice acquisition unit 30 acquires the voice in the right direction of the storage device 10 (user U) detected by the right microphone 12B. Then, the process proceeds to step S12.
  • the control unit 26 performs voice compression processing on the voice information acquired by the voice acquisition unit 30 (step S12). Specifically, the voice processing unit 38 performs voice compression signal processing on the voice acquired from the left microphone 12A and the voice acquired from the right microphone 12B by the voice acquisition unit 30, for example, in stereo such as MP3 format. Generate a signal. Then, the process proceeds to step S14.
  • the control unit 26 acquires image information regarding an image around the storage device 10 (user U) (step S14). Specifically, the image acquisition unit 32 acquires an image in the line-of-sight direction regarding the image in the line-of-sight direction of the user U captured by the line-of-sight direction camera 14A. The image acquisition unit 32 acquires peripheral images related to peripheral images other than the line-of-sight direction of the user U captured by the peripheral camera 14B. Then, the process proceeds to step S16.
  • the control unit 26 determines whether or not the image to be processed is a line-of-sight direction image (step S16). Specifically, in order to perform image processing independently for the line-of-sight image direction and the peripheral direction image, the image processing unit 40 uses the image acquired by the image acquisition unit 32 as the line-of-sight image direction and the peripheral direction image. Separate into. If it is determined that the image is in the line-of-sight direction (step S16; Yes), the process proceeds to step S18. If it is determined that the image is a peripheral image (step S16; No), the process proceeds to step S32. That is, in the present embodiment, if Yes is determined in step S16, image processing is performed for the line-of-sight image direction, and if No is determined in step S16, image processing is performed for the peripheral image.
  • step S18 the control unit 26 performs image compression processing on the line-of-sight direction image (step S18).
  • the image processing unit 40 may use MPEG-4 (Moving Picture Experts Group) or H.M. Compress with any codec such as 264 and convert to any file format such as MP4 format. Then, the process proceeds to step S20.
  • the control unit 26 multiplexes the sound and the image (step S20). Specifically, the multiplexing unit 46 multiplexes the image compressed in step S18 and the voice compressed in the corresponding step S12 to generate one compressed data. More specifically, the multiplexing unit 46 packs the compressed data of the image and the sound into predetermined sizes.
  • the multiplexing unit 46 performs multiplexing processing by an MPEG multiplexing method in which packs to be reproduced at the same time are time-stamped at the same time based on a synchronization timer signal of a counter (not shown) such as 90 kHz or 27 MHz, for example. .. Then, the process proceeds to step S22.
  • the control unit 26 acquires the biometric information of the user U (step S22). Specifically, the biometric information acquisition unit 34 acquires biometric information such as a fingerprint of the user U from the biosensor 16. Then, the process proceeds to step S24.
  • the control unit 26 determines whether or not to authenticate the user U (step S24). Specifically, the authentication unit 36 compares and matches the biometric information of the user U acquired in step S22 with the biometric information 24B stored in the storage unit 24, and determines that the user U is authenticated. If it is determined to authenticate the user U (step S24; Yes), the process proceeds to step S26. If it is determined that the user U is not authenticated (step S24; No), the process proceeds to step S42.
  • step S26 the control unit 26 generates an encryption key (step S26). Specifically, the encryption unit 48 generates a unique encryption key of the user U based on the biometric information of the user U so that the person can be authenticated without management. That is, in the present embodiment, since the encryption key is generated from the biometric information that even the person himself / herself cannot be aware of, the information of the key itself is not stolen by a third party. Then, the process proceeds to step S28.
  • the control unit 26 encrypts the compressed data (step S28).
  • the encryption unit 48 encrypts the compressed data multiplexed in step S20, for example, in units of several times.
  • an encryption method called DES (Data Encryption Standard) or AES (Advanced Encryption Standard) is used.
  • DES and AES are algorithms for data encryption by a common key cryptosystem.
  • DES is a block cipher that divides data into 64-bit units and encrypts them all together.
  • the DES has a key length of 56 bits and is treated as 64 bits by adding 8 bits for the parity chuck.
  • AES is the same as DES in that it is a common key cryptosystem.
  • the key length of AES can be selected from 128 bit, 192 bit, and 252 bit, which is longer than the key length of DES. Therefore, AES is safer than DES.
  • the encryption unit 48 uses a 256-bit AES to encrypt the compressed data. Then, the process proceeds to step S30.
  • the control unit 26 stores the encrypted compressed data (step S30). Specifically, the storage control unit 50 stores the compressed data encrypted in step S28 in the storage unit 24. Then, the process proceeds to step S42.
  • step S32 the control unit 26 recognizes a specific target included in the peripheral image (step S32).
  • the image recognition unit 42 uses the learning model 24A to recognize privacy information related to privacy such as a person's face, a car license plate, and a house nameplate included in a peripheral image.
  • the image recognition unit 42 may recognize other privacy information.
  • step S32 the image recognition unit 42 may recognize the copyright information regarding the copyrighted work included in the peripheral image by using, for example, the learning model 24A. Then, the process proceeds to step S34.
  • the control unit 26 performs machining processing on the recognized specific target (step S34).
  • the image processing unit 44 processes the privacy information recognized from the peripheral image so that it cannot be recognized.
  • the image processing unit 44 performs image processing on an area containing privacy information to reduce the distinctiveness to the extent that the privacy information cannot be specified.
  • the image processing that reduces the distinctiveness is, for example, a mosaic processing.
  • the mosaic process is a process of replacing a predetermined image area with data of the average value.
  • the image processing unit 44 may perform various filter processing including a Gaussian filter and a median filter on the area including the privacy information, for example.
  • the image processing unit 44 may perform a conversion accompanied by a target modification path or a specific hue change, such as a color tone change process and a brightness change process, on a region containing privater information.
  • the image processing unit 44 may perform, for example, blurring processing, point cloud processing, and processing such as deleting a part. Then, the process proceeds to step S36.
  • the control unit 26 performs image compression processing on the peripheral image after processing (step S36). Specifically, the image processing unit 40, for example, with respect to the peripheral image after processing, MPEG-4 or H.M. Compress with any codec such as 264 and convert to any file format such as MP4 format. Then, the process proceeds to step S38.
  • the image processing unit 40 for example, with respect to the peripheral image after processing, MPEG-4 or H.M. Compress with any codec such as 264 and convert to any file format such as MP4 format. Then, the process proceeds to step S38.
  • the control unit 26 multiplexes the sound and the image (step S38). Specifically, the multiplexing unit 46 multiplexes the image compressed in step S36 and the voice compressed in the corresponding step S12 to generate one compressed data. More specifically, the multiplexing unit 46 packs the compressed data of the image and the sound into predetermined sizes.
  • the multiplexing unit 46 performs multiplexing processing by an MPEG multiplexing method in which packs to be reproduced at the same time are time-stamped at the same time based on a synchronization timer signal of a counter (not shown) such as 90 kHz or 27 MHz, for example. .. Then, the process proceeds to step S40.
  • the control unit 26 stores the encrypted compressed data (step S40). Specifically, the storage control unit 50 stores the compressed data compressed in step S38 in the storage unit 24. Then, the process proceeds to step S42.
  • the control unit 26 determines whether or not to end the process (step S42). Specifically, the control unit 26 determines that the process is terminated when it receives an operation to end the process or when it receives an operation to turn off the power. When it is determined to end the process (step S42; Yes), the process of FIG. 4 is terminated. If it is determined that the process is not completed (step S42; No), the process proceeds to step S10.
  • the image in the line-of-sight direction of the user U is stored in the internal storage unit 24 of the storage device 10 by using the encryption key generated based on the biometric information of the user U.
  • the privacy information including the facts of interest of the user U and the object in the line-of-sight direction of the user U are also encrypted and stored, so that the image is appropriately stored while protecting the privacy of both parties. can do.
  • the privacy information included in the peripheral image is recognized, the privacy information is subjected to image processing, and the privacy information included in the peripheral image is stored indistinguishably. It is stored in the storage unit 24 inside the device 10.
  • the peripheral image of the user U can be stored as one's own action history, and the image can be appropriately stored while protecting the privacy information included in the peripheral image.
  • the first embodiment since only the image in the line-of-sight direction of the user U is encrypted, it is possible to suppress an increase in the buffer memory in the storage process and a delay in the storage process. As a result, the first embodiment can reproduce the stored line-of-sight image and peripheral image at high speed while protecting the privacy information.
  • the storage device 10 according to the second embodiment is different from the first embodiment in that the time of the image in the line-of-sight direction of the user U and the peripheral image are synchronized.
  • the second embodiment is different from the first embodiment in that the peripheral image is stored in an external device different from the storage device 10.
  • FIG. 5 is a flowchart showing an example of the processing flow of the storage device according to the second embodiment.
  • steps S50 to S54 are the same as the processes of steps S10 to S14 shown in FIG. 4, the description thereof will be omitted.
  • the control unit 26 synchronizes the time between the line-of-sight direction image and the peripheral image (step S56). Specifically, the image acquisition unit 32 makes it possible to discriminate between the line-of-sight direction image and the peripheral image taken at the same time by adding a time stamp to the line-of-sight direction image and the peripheral image. Then, the process proceeds to step S58.
  • step S58 to step S80 are the same as the processes from steps S16 to S38 shown in FIG. 4, the description thereof will be omitted.
  • the control unit 26 stores the encrypted compressed data in an external device (step S82). Specifically, the storage control unit 50 stores the compressed data compressed in step S80 in an external device different from the storage device 10 via the communication unit 22. Then, the process proceeds to step S84.
  • step S84 Since the process of step S84 is the same as the process of step S42 shown in FIG. 4, the description thereof will be omitted.
  • a time stamp is added to the line-of-sight direction image and the peripheral direction image, and each image is stored.
  • the correspondence between the line-of-sight direction image and the peripheral direction image becomes clear, so that the image can be stored more appropriately.
  • the peripheral image is stored in an external device different from the storage device 10.
  • the security of the peripheral image is further strengthened, so that the image can be stored more appropriately.
  • the third embodiment executes a process of resetting the encryption chain of the block cipher every time the user U moves a predetermined distance in a storage device that captures an image while moving a place and stores the image in a time series.
  • FIG. 6 is a block diagram showing a configuration example of the storage device according to the third embodiment.
  • the storage device 10a is different from the storage device 10 shown in FIG. 3 in that the storage unit 24a stores the map information 24C.
  • the storage device 10a is different from the storage device 10 shown in FIG. 3 in that the storage device 10a includes a GNSS (Global Navigation Satellite System) receiving unit 28.
  • the storage device 10a is different from the storage device 10 shown in FIG. 3 in that the control unit 26a includes the position information acquisition unit 56. It is assumed that the storage unit 24a stores the map information 24C, but the present invention is not limited to this.
  • the storage unit 24a may acquire the map information 24C via the communication unit 22 and store the map information 24C. That is, the storage unit 24a does not have to store the map information 24C in advance, and may store the map information 24C as needed.
  • the GNSS receiving unit 28 is a device that detects the position information of the storage device 10a (user U).
  • the position information here is the earth coordinates.
  • the GNSS receiving unit 28 is a so-called GNSS module, which receives radio waves from satellites and detects the position information of the storage device 10a.
  • the map information 24C is data including the position information of the actual building part and natural objects, and can be said to be the data including the earth coordinates and the position information of the actual buildings and natural objects.
  • the position information acquisition unit 56 acquires position information from the GNSS receiving unit 28.
  • the position information acquisition unit 56 determines whether or not the storage device 10a (user) U is located in a predetermined area based on the position information acquired by the GNSS receiving unit 28 and the map information 30B.
  • the accuracy of the position information is preferably within about 100 m.
  • the encryption unit 48a encrypts the image taken around the user with a block cipher.
  • the block cipher is a method of dividing an image into predetermined blocks and performing encryption, and this block cipher has two methods as rules for handling block data other than encryption processing.
  • One is the ECB (Electric CodeBook) mode, and the other is the OFB (Output Feedback) mode. In this embodiment, the OFB mode is used.
  • FIG. 7A is a diagram for explaining encryption in the ECB mode.
  • FIG. 7B is a diagram for explaining decoding in the ECB mode.
  • the ciphertext block data 102 can be obtained by encrypting the plaintext block data 100 with a predetermined encryption key.
  • the same encryption key as the encryption key used for encrypting the plain text block data 100 is used for the ciphertext block data 102.
  • the plain text block data 100 can be obtained.
  • the plaintext block data 100 is the same data, the same result can be obtained.
  • ECB mode applies the same encryption to all block data, so it is simple, easy to understand, easy to implement, and fast, so any block data of encrypted data is randomly accessed and decrypted.
  • the pattern is analyzed by a third party by comparing the plaintext block data 100 and the ciphertext block data 102, the ciphertext is easily decrypted illegally, and the data is replaced in block data units. There is also a demerit that it can be tampered with.
  • FIG. 8A is a diagram for explaining encryption in OFB mode.
  • FIG. 8B is a diagram for explaining decoding in the OFB mode.
  • a method of encrypting three plaintext block data of the first plaintext block data 120, the second plaintext block data 122, and the third plaintext block data 124 will be described with reference to FIG. 8A.
  • the first encryption vector 112 is generated by encrypting the initial vector 110 with a predetermined encryption key.
  • the first ciphertext block data 130 is obtained by calculating the exclusive OR of the first plaintext block data 120 and the first encryption vector 112.
  • the first encryption vector 112 is further encrypted with a predetermined encryption key to generate the second encryption vector 114.
  • the second ciphertext block data 132 is obtained by calculating the exclusive OR of the second plaintext block data 122 and the second encryption vector 114.
  • the second encryption vector 114 is further encrypted with a predetermined encryption key to generate the third encryption vector 116.
  • the third ciphertext block data 134 is obtained by performing the exclusive OR of the third plaintext block data 124 and the third encryption vector 116.
  • the initial vector 110, the first encryption vector 112, the second encryption vector 114, and the third encryption vector 116 are called a keystream.
  • the initial vector 110, the first encryption vector 112, the second encryption vector 114, and the third encryption vector 116 are also referred to as an encryption chain.
  • a method of decrypting the three ciphertext block data of the first ciphertext block data 130, the second ciphertext block data 132, and the third ciphertext block data 134 will be described with reference to FIG. 8B.
  • the first encryption vector 112 is generated by encrypting the initial vector 110 with a predetermined encryption key.
  • the first plaintext block data 120 is obtained by calculating the exclusive OR of the first ciphertext block data 130 and the first encryption vector 112.
  • the first encryption vector 112 is further encrypted with a predetermined encryption key to generate the second encryption vector 114.
  • the second plaintext block data 122 is obtained by calculating the exclusive OR of the second ciphertext block data 132 and the second encryption vector 114.
  • the second encryption vector 114 is further encrypted with a predetermined encryption key to generate the third encryption vector 116.
  • the third plaintext block data 124 is obtained by performing the exclusive OR of the third ciphertext block data 134 and the third encryption vector 116.
  • the initial vector 110, the first encryption vector 112, the second encryption vector 114, and the third encryption vector 116 are called a keystream.
  • the initial vector 110, the first encryption vector 112, the second encryption vector 114, and the third encryption vector 116 are also referred to as an encryption chain.
  • FIG. 9 is a flowchart showing a processing flow of the storage device according to the third embodiment.
  • the control unit 26a acquires the current position information of the storage device 10a (user U) (step S90). Specifically, the position information acquisition unit 56 acquires the current position information of the storage device 10a (user U) based on the position information acquired by the GNSS receiving unit 28 and the map information 30B. Then, the process proceeds to step S92.
  • steps S92 to S100 are the same as the processes from steps S10 to S18 shown in FIG. 4, the description thereof will be omitted.
  • the control unit 26a multiplexes the sound and the image (step S102). Specifically, the multiplexing unit 46a multiplexes the image compressed in step S18 and the voice compressed in step S12 corresponding to the image. In addition, the position information acquired in step S90 is added to generate one compressed data. More specifically, the multiplexing unit 46a packs the compressed data of the image and the sound to which the position information is associated into a predetermined size. The multiplexing unit 46a performs multiplexing processing by an MPEG multiplexing method in which packs to be reproduced at the same time are time-stamped at the same time based on a synchronization timer signal of a counter (not shown) such as 90 kHz or 27 MHz, for example. .. Then, the process proceeds to step S104.
  • a synchronization timer signal of a counter not shown
  • step S104 and step S106 Since the processing of step S104 and step S106 is the same as the processing of step S22 and step S24 shown in FIG. 4, the description thereof will be omitted.
  • step S106 the control unit 26a generates an encryption key (step S108). Specifically, the encryption unit 48a generates a key stream of the encryption key of each encryption block included in the encryption chain based on an initial vector prepared in advance. Then, the process proceeds to step S110.
  • the control unit 26a encrypts the compressed data (step S110). Specifically, the encryption unit 48a uses the key stream generated in step S106 to calculate the exclusive logic between the compressed data and the key stream, so that the encryption block data in which a plurality of encrypted block data are connected are encrypted. Encrypt compressed data with a chain. Then, the process proceeds to step S112.
  • step S112 Since the process of step S112 is the same as the process of step S30 shown in FIG. 3, the description thereof will be omitted.
  • the control unit 26a determines whether or not the vehicle has moved by a predetermined distance or more (step S114). Specifically, the position information acquisition unit 56 determines whether or not the storage device 10a (user U) has moved by a predetermined distance or more based on the position information acquired by the GNSS receiving unit 28 and the map information 24C.
  • FIG. 10 is a diagram for explaining a method of determining whether or not the storage device 10a (user U) has moved by a predetermined distance or more.
  • FIG. 10 shows a locus on the map of the storage device 10a (user U). It is assumed that the storage device 10a moves from the point P1 to the point P5. The storage device 10a captures an image in the line-of-sight direction of the user U while the user U goes around the tourist spot between the points P1 and P5, and encrypts and stores the captured image.
  • the position information acquisition unit 56 acquires the position information of the storage device 10a (user U) until the storage device 10a (user U) moves from the point P1 to the point P5.
  • the map information 24C has area information of area A1, area A2, area A3, area A4, and area A5.
  • the map information 24C is associated with the areas A1 to A5 in advance.
  • the position information acquisition unit 56 can determine in which area the storage device 10a (user U) is located, based on the position information acquired by the GNSS receiving unit 28 and the map information 24C.
  • the position information acquisition unit 56 determines, for example, whether or not the storage device 10a (user U) has moved between areas. The position information acquisition unit 56 determines, for example, whether or not the storage device 10a (user U) has moved from the point P1 in the area A1 to the point P2 in the area A2. The position information acquisition unit 56 determines, for example, whether or not the storage device 10a (user U) has moved from the point P2 in the area A2 to the point P3 in the area A3. The position information acquisition unit 56 determines, for example, whether or not the storage device 10a (user U) has moved from the point P3 in the area A3 to the point P4 in the area A4.
  • the position information acquisition unit 56 determines, for example, whether or not the storage device 10a (user U) has moved from the point P4 in the area A4 to the point P5 in the area A5. In the present embodiment, the position information acquisition unit 56 determines that, for example, when the storage device 10a (user U) moves in the area, the storage device 10a (user U) has moved by a predetermined distance or more.
  • step S114 If it is determined that the storage device 10a (user U) has moved by a predetermined distance or more (step S114; Yes), the process proceeds to step S116. When it is determined that the storage device 10a (user U) has not moved by a predetermined distance or more (step S114; No), the process proceeds to step S128.
  • step S116 the control unit 26a resets the encryption chain (step S116). Specifically, the encryption unit 48a resets the value of the initial vector for generating the encryption key according to a predetermined rule. That is, in the present embodiment, for example, each time the storage device 10a (user U) moves in an area, the initial vector is reset, and the encrypted image for each area is independently stored in the storage device 10a. Then, the process proceeds to step S128.
  • steps S118 to S128 are the same as the processes of steps S32 to S42 shown in FIG. 4, the description thereof will be omitted.
  • the third embodiment resets the initial vector for generating the encryption key when the storage device 10a (user U) moves by a predetermined distance or more. Thereby, in the third embodiment, the security is improved and the image can be stored more appropriately.
  • images for each predetermined distance, for example, for each area are stored independently.
  • images for each predetermined distance, for example, for each area are stored independently.
  • FIG. 11 is a block diagram showing a configuration example of the storage device according to the fourth embodiment.
  • the storage device 10b according to the fourth embodiment has a different function from the storage device 10a shown in FIG. 6 in the function of the encryption unit 48b of the control unit 26b.
  • the encryption unit 48b when the position information acquisition unit 56 determines that the storage device 10b (user U) has moved by a predetermined distance or more, the encryption unit 48b resets the initial vector and is based on the position information after the movement. To generate an initial vector and an encryption key.
  • FIG. 12 is a flowchart showing an example of the processing flow of the storage device according to the fourth embodiment.
  • steps S130 to S156 are the same as the processes of steps S90 to S116 shown in FIG. 9, the description thereof will be omitted.
  • the control unit 26b generates an encryption key based on the current position information of the storage device 10b (user U) (step S158).
  • the size of the block cipher is 128 bits
  • the size of the encryption key is 256 bits
  • the value of the initial vector is 128 bits by using the AES encryption method.
  • the encryption unit 48b preferably generates an initial vector with a random numerical value in order to make it difficult to decrypt the encryption.
  • the encryption unit 48b generates a numerical value of the initial vector based on the current position information.
  • the encryption unit 48b may generate an initial vector based on the latitude and longitude of the current position.
  • the encryption unit 48b may also generate an encryption key based on the current position information of the storage device 10b (user U).
  • the encryption unit 48b may generate an encryption key based on the current position information of the storage device 10b (user U) and the biometric information of the user U. It is preferable that the encryption unit 48b generates an initial vector with a different numerical value for each message to be encrypted. Then, the process proceeds to step S170.
  • steps S160 to S170 are the same as the processes of steps S118 to S128 shown in FIG. 9, the description thereof will be omitted.
  • the initial vector and the encryption key are generated based on the current position information of the storage device 10b (user U).
  • the algorithm for generating the initial vector and the encryption key can be made more complicated, so that the security can be further improved.
  • images for each predetermined distance, for example, for each area are stored independently. Further, in the fourth embodiment, since the image for each specific area can be encrypted using the initial vector generated according to the position information of the area and the encryption key, the initial vector and the encryption key can be encrypted. More patterns can be generated. Thereby, the fourth embodiment can further improve the safety.
  • the present disclosure is not limited by the contents of these embodiments.
  • the above-mentioned components include those that can be easily assumed by those skilled in the art, those that are substantially the same, that is, those in a so-called equal range.
  • the components described above can be combined as appropriate. Further, various omissions, replacements or changes of the components can be made without departing from the gist of the above-described embodiment.
  • the storage device of this embodiment can be applied to a wearable device worn by a user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

記憶装置(10)は、ユーザの生体情報を検出する生体センサ(16)と、ユーザの周辺を撮影した画像を撮像部から取得する画像取得部(32)と、ユーザの周辺の画像のうち、ユーザの視線方向の画像に関する視線方向画像と、視線方向画像以外の画像に関する周辺画像とを分離する画像処理部(40)と、ユーザの生体情報に基づいて、視線方向画像を暗号化するための暗号鍵を生成し、暗号鍵を用いて視線方向画像を暗号化する暗号化部(48)と、暗号化部(48)が暗号化した視線方向画像を記憶部(24)に記憶する記憶制御部(50)と、を備える。

Description

記憶装置、記憶方法、およびプログラム
 本開示は、記憶装置、記憶方法、およびプログラムに関する。
 ユーザに装着されるウェアラブルデバイスは、HMD(Head Mounted Display)タイプであったり、眼鏡タイプであったりと多種多様な形態で身に着けるものが出てきている。このようなウェアラブルデバイスには、ユーザの視線方向の動画像をカメラで撮影し、撮影した映像を記録する機能を有するものがある。
 例えば、特許文献1には、耳や頭に装着する撮像装置において、撮影者の見ている場所と、撮影している場所とを一致させる技術が記載されている。特許文献2には、デジタルで記録される画像データの盗み見や改ざんを防止する機能を備えた装置が記載されている。
特開2003-184351号公報 特開2000-341632号公報
 ここで、ユーザが装着したウェアラブルデバイスで撮像した画像のうち、ユーザの視線方向の画像は、ユーザのプライバシーと、対象のプライバシーの保護とを保護するために、容易にアクセスできないように適切に記憶する必要がある。 
 本開示は、ユーザの視線方向の映像を適切に記憶することのできる記憶装置、記憶方法、およびプログラムを提供することを目的とする。
 本開示の一態様に係る記憶装置は、ユーザの生体情報を検出する生体センサと、前記ユーザの周辺を撮影した画像を撮像部から取得する画像取得部と、前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離する画像処理部と、前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化する暗号化部と、前記暗号化部が暗号化した前記視線方向画像を記憶部に記憶する記憶制御部と、を備える。
 本開示の一態様に係る記憶方法は、ユーザの生体情報を検出するステップと、前記ユーザの周辺を撮影した画像を撮像部から取得するステップと、前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離するステップと、前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化するステップと、暗号化した前記視線方向画像を記憶部に記憶するステップと、を含む。
 本開示の一態様に係るプログラムは、ユーザの生体情報を検出するステップと、前記ユーザの周辺を撮影した画像を撮像部から取得するステップと、前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離するステップと、前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化するステップと、暗号化した前記視線方向画像を記憶部に記憶するステップと、をコンピュータに実行させる。
 本開示によれば、ユーザの視線方向の映像を適切に記憶することができる。
図1Aは、第1実施形態に係る記憶装置の第1の例を示す模式図である。 図1Bは、第1実施形態に係る記憶装置の第1の例を示す模式図である。 図2は、第1実施形態に係る記憶装置の第2の例を示す模式図である。 図3は、第1実施形態に係る記憶装置の構成例を示すブロック図である。 図4は、第1実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。 図5は、第2実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。 図6は、第3実施形態に係る記憶装置の構成例を示すブロック図である。 図7Aは、ECBモードにおける暗号化を説明するための図である。 図7Bは、ECBモードにおける復号化を説明するための図である。 図8Aは、OFBモードにおける暗号化を説明するための図である。 図8Bは、OFBモードにおける復号化を説明するための図である。 図9は、第3実施形態に係る記憶装置の処理の流れを示すフローチャートである。 図10は、記憶装置が所定距離以上移動したか否かを判定する方法を説明するための図である。 図11は、第4実施形態に係る記憶装置の構成例を示す図である。 図12は、第4実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
 以下、添付図面を参照して、本開示に係る実施形態を詳細に説明する。なお、この実施形態により本開示が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 [第1実施形態]
 図1Aと、図1Bとは、第1実施形態に係る記憶装置の第1の例を示す模式図である。図1Aは、ユーザUの正面を示し、図1Bは、ユーザUの後面を示す。図1Aおよび図1Bに示すように、記憶装置10は、ユーザUの体に装着されるウェアラブルデバイスである。図1Aおよび図1Bに示すように、記憶装置10は、ユーザUの目に装着される装置10Aと、装置10Aに設けられる装置10Bと、ユーザUの左耳に装着される装置10Cと、ユーザUの右耳に装着される装置10Cと、ユーザUの後頭部に装着される装置10Dと、を含む。装置10Aは、映像を表示する眼鏡型の表示部である。装置10Bは、ユーザUの視線方向の映像を撮影するカメラである。装置10Cは、ユーザUの左方向からの音声を収音するマイクである。装置10Cは、ユーザUの右方向からの音声を収音するマイクである。装置10Cと、装置10Cとは、バイノーラルマイクであり得る。装置10Dは、ユーザUの後方の映像を撮影するカメラである。
 図2は、第1実施形態に係る記憶装置の第2の例を示す模式図である。図2は、ユーザUの正面を示す。図2に示すように、記憶装置10は、ユーザUの目に装着される装置10Eと、装置10Dに設けられる装置10Bと、ユーザUの左耳に装着される装置10Cと、ユーザUの右耳に装着される装置10Cと、ユーザUの頭上に装着される装置10Fと、を含む。装置10Dは、映像を表示するゴーグル型の表示部であり、いわゆるHMDである。装置10Fは、ユーザUを中心に360度の画像を撮影する魚眼レンズ付きのカメラである。装置10Fは、いわゆる全天周カメラであり得る。
 [記憶装置]
 図3を用いて、第1実施形態に係る記憶装置の構成例について説明する。図3は、第1実施形態に係る記憶装置の構成例を示すブロック図である。
 図3に示すように、記憶装置10は、マイク12と、カメラ14と、生体センサ16と、入力部18と、出力部20と、通信部22と、記憶部24と、制御部26と、を含む。
 マイク12は、記憶装置10(ユーザU)の周辺の音声(音波情報)を検出するマイクである。マイク12は、例えば、左マイク12Aと、右マイク12Bと、を含む。
 左マイク12Aは、例えば、ユーザUの左耳に装着される。左マイク12Aは、記憶装置10(ユーザU)の左方向の音声を検出する。右マイク12Bは、例えば、ユーザUの右耳に取り付けられる。右マイク12Bは、記憶装置10(ユーザU)の右方向の音声を検出する。左マイク12Aと、右マイク12Bとは、例えば、バイノーラルマイクであり得る。なお、マイク12が備えるマイクは、左マイク12Aと、右マイク12Bとに限定されない。記憶装置10において設けられるマイク12の位置、および数などは任意であってよい。例えば、マイク12と指向性を有する指向性マイクを用いることで、記憶装置10(ユーザU)を中心に前方、後方、左方、右方の音を多重化して記憶することができる。
 カメラ14は、撮像装置であり、記憶装置10(ユーザU)の周辺の可視光を検出することで、記憶装置10の周辺を撮像する。カメラ14は、所定のフレームレートごとに撮像するビデオカメラであってよい。カメラ14は、視線方向カメラ14Aと、周辺カメラ14Bと、を含む。
 視線方向カメラ14Aは、ユーザUの視線方向を撮像する。視線方向カメラ14Aは、例えば、出力部20の表示部20Aにおいて、ユーザUの視線方向を撮像可能に設けられる。視線方向カメラ14Aは、出力部20の表示部20A以外の場所に設けられてもよい。
 周辺カメラ14Bは、記憶装置10(ユーザU)の周辺において、ユーザUの視線方向以外の範囲を撮像する。周辺カメラ14Bは、例えば、ユーザUの後頭部に装着され、ユーザUの後方を撮像する。
 視線方向カメラ14Aと、周辺カメラ14Bとは、記憶装置10において設けられる位置、および数などは任意であってよい。視線方向カメラ14Aと、周辺カメラ14Bとは、一体に構成されてもよい。この場合、カメラ14は、ユーザUの頭上に装着される全天周カメラであり得る。全天周カメラは、記憶装置10(ユーザU)を中心に、360度の範囲を撮像する。カメラ14は、複数のカメラで構成され、複数のカメラによって、記憶装置10(ユーザU)を中心に、360度の範囲を撮像してもよい。カメラ14は、例えば、ジンバル機構などを有し、ジンバル機構により回転しながら記憶装置10(ユーザU)を中心に360度の範囲を撮像してもよい。
 生体センサ16は、ユーザUの生体情報を検出するセンサである。生体センサ16は、ユーザUの生体情報を検出可能であれば、任意の位置に設けられてよい。生体センサ16が取得する生体情報は、ユーザUの固有の普遍的な情報であり得る。本実施形態では、生体情報として、例えば、指紋、眼の虹彩模様、および指および手などの静脈形状などの個人を特定できる情報が挙げられるが、これらに限定されない。生体情報は、指紋などの情報と顔の特徴との情報の組み合わせでもよい。生体情報は、ユーザUの遺伝子情報であってもよい。生体センサ16は、例えば、指紋センサ、静脈センサ、カメラなどで実現される。
 入力部18は、記憶装置10に対する各種の操作を受け付ける。入力部18は、例えば、ボタン及びタッチパネルなどで実現される。
 出力部20は、各種の情報を出力する。出力部20は、例えば、表示部20Aと、音声出力部20Bとを備える。表示部20Aは、各種の映像を表示する。本実施形態では、表示部20Aは、例えば、眼鏡型のディスプレイまたはHMDなどである。音声出力部20Bは、各種の音声を出力する。音声出力部20Bは、スピーカである。
 通信部22は、他の外部装置と通信を実行する。通信部22は、例えば、Wi-Fi(登録商標)およびBluetooth(登録商標)などの通信モジュールで実現される。通信部22は、例えば、有線で他の外部装置と通信を実行する機能を有していいてもよい。
 記憶部24は、制御部26の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、RAM(Random Access Memory)と、ROM(Read Only Memory)のような主記憶装置と、HDD(Hard Disk Drive)などの外部記憶装置とのうち、少なくとも1つ含む。
 記憶部24には、学習モデル24Aと、生体情報24Bとが記憶されている。学習モデル24Aは、画像に基づいて、画像に含まれる特定の対象を認識するために用いられるAIモデルである。学習モデル24Aは、例えば、CNN(Convolutional Neural Network)を用いた学習済みモデルであり得る。学習モデル24Aは、例えば、人物の顔、車のナンバープレート、住宅の表札などプライバシーに関するプライバシー情報を認識するために用いられる。学習モデル24Aは、例えば、著作権で保護された著作物を認識できるように学習されていてもよい。生体情報24Bは、例えば、ユーザUの指紋、眼の虹彩模様、および指および手などの静脈形状などを含む生体情報である。すなわち、生体情報24Bは、記憶装置10の使用を許可された人物の生体情報であり得る。
 制御部26は、記憶装置10の各部の動作を制御する。制御部26は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、図示しない記憶部に記憶されたプログラムがRAM等を作業領域として実行されることにより実現される。制御部26は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。制御部26は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。
 制御部26は、音声取得部30と、画像取得部32と、生体情報取得部34と、認証部36と、音声処理部38と、画像処理部40と、画像認識部42と、画像加工部44と、多重化部46と、暗号化部48と、記憶制御部50と、出力制御部52と、通信制御部54と、を備える。
 音声取得部30は、マイク12を制御して、記憶装置10(ユーザU)の周辺の音声を検出させる。音声取得部30は、マイク12が検出した音声を取得する。音声取得部30の処理の詳細は後述する。
 画像取得部32は、カメラ14を制御して、記憶装置10(ユーザU)の周辺を撮像させる。画像取得部32は、カメラ14が撮像した画像を取得する。画像取得部32の処理の詳細は後述する。
 生体情報取得部34は、生体センサ16を制御して、記憶装置10(ユーザU)の生体情報を検出させる。生体情報取得部34は、生体センサ16が検出した生体情報を取得する。生体情報取得部34の処理の詳細は後述する。
 認証部36は、ユーザUの認証を行う。認証部36は、生体情報取得部34が取得した生体情報に基づいて、ユーザUに記憶装置10に使用を許可するか否かの認証を行う。認証部36の処理の詳細は後述する。
 音声処理部38は、音声取得部30がマイク12から取得した音声に対して、各種の音声信号処理を行う。音声処理部38の処理の詳細は後述する。
 画像処理部40は、画像取得部32がカメラ14から取得した画像に対して、各種の画像処理を行う。画像処理部40の処理の詳細は後述する。
 画像認識部42は、画像取得部32が取得した画像から、特定の対象を認識する。画像認識部42の処理の詳細は後述する。
 画像加工部44は、画像取得部32が取得した画像に対して各種の加工処理を行う。画像加工部44は、画像認識部42が認識した特定の対象に対して、加工処理を行う。画像加工部44の処理は後述する。
 多重化部46は、音声取得部30が取得した音声と、画像取得部32が取得した音声とを多重化する。多重化の方法は任意であってよい。多重化部46の処理の詳細は後述する。
 暗号化部48は、多重化部46により多重化されたデータを暗号化する。暗号化部48は、所定の暗号方式と暗号鍵とを用いて、多重化部46により多重化されたデータを暗号化する。暗号化部48の処理の詳細は後述する。
 記憶制御部50は、各種の情報を記憶部24に記憶させる。記憶制御部50の処理の詳細は後述する。
 出力制御部52は、出力部20を制御して、各種の情報を出力させる。出力制御部52は、表示部20Aを制御して、各種の映像を表示させる。出力制御部52は、音声出力部20Bを制御して、各種の音声を出力させる。
 通信制御部54は、通信部22を制御する。通信制御部54は、通信部22を制御して、外部の装置と各種の情報の送受信を行う。
 [記憶装置の処理]
 図4を用いて、第1実施形態に係る記憶装置の処理について説明する。図4は、第1実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
 制御部26は、記憶装置10(ユーザU)の周辺の音声に関する音声情報を取得する(ステップS10)。具体的には、音声取得部30は、音声取得部30は、左マイク12Aが検出した記憶装置10(ユーザU)の左方向の音声を取得する。音声取得部30は、右マイク12Bが検出した記憶装置10(ユーザU)の右方向の音声を取得する。そして、ステップS12に進む。
 制御部26は、音声取得部30が取得した音声情報に対して音声圧縮処理を行う(ステップS12)。具体的には、音声処理部38は、例えば、音声取得部30が左マイク12Aから取得した音声と、右マイク12Bから取得した音声とに対して、音声圧縮信号処理を行いMP3形式などのステレオ信号を生成する。そして、ステップS14に進む。
 制御部26は、記憶装置10(ユーザU)の周辺の画像に関する画像情報を取得する(ステップS14)。具体的には、画像取得部32は、視線方向カメラ14Aが撮像したユーザUの視線方向の画像に関する視線方向画像を取得する。画像取得部32は、周辺カメラ14Bが撮像したユーザUの視線方向以外の周辺の画像に関する周辺画像を取得する。そして、ステップS16に進む。
 制御部26は、処理の対象となる画像は視線方向画像であるか否かを判定する(ステップS16)。具体的には、画像処理部40は、視線画像方向と、周辺方向画像とに対して独立に画像処理を行うために、画像取得部32が取得した画像を視線画像方向と、周辺方向画像とに分離する。視線方向画像であると判定された場合(ステップS16;Yes)、ステップS18に進む。周辺画像であると判定された場合(ステップS16;No)、ステップS32に進む。すなわち、本実施形態では、ステップS16でYesと判定された場合には視線画像方向に対する画像処理が行われ、ステップS16でNoと判定された場合には周辺画像に対する画像処理を行われる。
 ステップS16でYesと判定された場合、制御部26は、視線方向画像に対して、画像圧縮処理を行う(ステップS18)。具体的には、画像処理部40は、例えば、視線方向画像に対して、MPEG-4(Moving Picture Experts Group)やH.264などの任意の方式のコーデックで圧縮し、MP4形式などの任意のファイル形式に変換する。そして、ステップS20に進む。
 制御部26は、音声と画像とを多重化する(ステップS20)。具体的には、多重化部46は、ステップS18で圧縮処理された画像と、それに対応するステップS12で圧縮処理された音声とを多重化して1つの圧縮データを生成する。より具体的には、多重化部46は、画像と音声の圧縮データをそれぞれ所定の大きさにパッキングする。多重化部46は、例えば、90kHzまたは27MHzなどの図示しないカウンターの同期タイマー信号に基づいて、同時刻に再生すべきパックには同時刻のタイムスタンプをつけるMPEG多重化方式により多重化処理を行う。そして、ステップS22に進む。
 制御部26は、ユーザUの生体情報を取得する(ステップS22)。具体的には、生体情報取得部34は、生体センサ16からユーザUの指紋などの生体情報を取得する。そして、ステップS24に進む。
 制御部26は、ユーザUを認証するか否かを判定する(ステップS24)。具体的には、認証部36は、ステップS22で取得されたユーザUの生体情報と、記憶部24に記憶された生体情報24Bとを比較して一致する場合、ユーザUを認証すると判定する。ユーザUを認証すると判定された場合(ステップS24;Yes)、ステップS26に進む。ユーザUを認証しないと判定された場合(ステップS24;No)、ステップS42に進む。
 ステップS24でYesと判定された場合、制御部26は、暗号鍵を生成する(ステップS26)。具体的には、暗号化部48は、管理無しで本人認証ができるように、ユーザUの生体情報に基づいて、ユーザUの固有の暗号鍵を生成する。すなわち、本実施形態では、本人さえ自覚できない生体情報から暗号鍵を生成するため、鍵自体の情報を第三者によって盗まれることはない。そして、ステップS28に進む。
 制御部26は、圧縮データを暗号化する(ステップS28)。具体的には、暗号化部48は、ステップS20で多重化された圧縮データを、例えば、数倍と単位で暗号化する。暗号化には、DES(Data Encryption Standard)またはAES(Advanced Encryption Standard)と呼ばれる暗号方式を用いる。DESおよびAESは、共通鍵暗号方式によるデータ暗号化のアルゴリズムである。DESは、64bit単位にデータを区切り、それをまとめて暗号化するブロック暗号である。DESは、鍵長が56bitであり、パリティチャック用の8bitを加えて64bitとして扱う。AESは、共通鍵暗号方式である点はDESで同じである。AESの鍵長は、128bit、192bit、および252bitから選択可能であり、DESの鍵長よりも長い。そのため、AESの方が、DESよりも安全性が高い。本実施形態では、暗号化部48は、256bitのAESを用いて、圧縮データを暗号化する。そして、ステップS30に進む。
 制御部26は、暗号化された圧縮データを記憶する(ステップS30)。具体的には、記憶制御部50は、ステップS28で暗号化された圧縮データを記憶部24に記憶する。そして、ステップS42に進む。
 ステップS16でNoと判定された場合、制御部26は、周辺画像に含まれる特定の対象を認識する(ステップS32)。具体的には、画像認識部42は、学習モデル24Aを用いて、周辺画像に含まれる、人の顔、車のナンバープレート、住宅の表札などのプライバシーに関するプライバシー情報を認識する。画像認識部42は、その他のプライバシー情報を認識してもよい。ステップS32では、画像認識部42は、例えば、学習モデル24Aを用いて、周辺画像に含まれる著作物に関する著作権情報を認識してもよい。そして、ステップS34に進む。
 制御部26は、認識された特定の対象に対して加工処理を行う(ステップS34)。具体的には、画像加工部44は、周辺画像から認識されたプライバシー情報を認識不可に加工を行う。画像加工部44は、例えば、プライバシー情報が含まれている領域に対して、プライバシー情報が特定できない程度に識別性を低減させる画像処理を施す。識別性を低減させる画像処理は、例えば、モザイク処理である。モザイク処理は、所定の画像領域をその平均値のデータに置き換える処理である。画像加工部44は、例えば、ガウシアンフィルタやメディアンフィルタを含む各種のフィルタ処理をプライバシー情報が含まれている領域に対して施してもよい。画像加工部44は、例えば、プライバー情報が含まれている領域に対して、色調変更処理、明るさ変更処理など、対象の改造道や特定の色相変化を伴う変換を行ってもよい。画像加工部44は、例えば、ぼかし処理、ポイントクラウド化、および一部分を削除するような処理を行ってもよい。そして、ステップS36に進む。
 制御部26は、加工処理後の周辺画像に対して、画像圧縮処理を行う(ステップS36)。具体的には、画像処理部40は、例えば、加工後の周辺画像に対して、MPEG-4やH.264などの任意の方式のコーデックで圧縮し、MP4形式などの任意のファイル形式に変換する。そして、ステップS38に進む。
 制御部26は、音声と画像とを多重化する(ステップS38)。具体的には、多重化部46は、ステップS36で圧縮処理された画像と、それに対応するステップS12で圧縮処理された音声とを多重化して1つの圧縮データを生成する。より具体的には、多重化部46は、画像と音声の圧縮データをそれぞれ所定の大きさにパッキングする。多重化部46は、例えば、90kHzまたは27MHzなどの図示しないカウンターの同期タイマー信号に基づいて、同時刻に再生すべきパックには同時刻のタイムスタンプをつけるMPEG多重化方式により多重化処理を行う。そして、ステップS40に進む。
 制御部26は、暗号化された圧縮データを記憶する(ステップS40)。具体的には、記憶制御部50は、ステップS38で圧縮された圧縮データを記憶部24に記憶する。そして、ステップS42に進む。
 制御部26は、処理を終了するか否かを判定する(ステップS42)。具体的には、制御部26は、処理を終了する旨の操作を受け付けた場合や、電源をオフする操作を受け付けた場合に、処理を終了すると判定する。処理を終了すると判定された場合(ステップS42;Yes)、図4の処理を終了する。処理を終了しないと判定された場合(ステップS42;No)、ステップS10に進む。
 上述のとおり、第1実施形態は、ユーザUの視線方向の画像は、ユーザUの生体情報に基づいて生成された暗号鍵を用いて、記憶装置10の内部の記憶部24に記憶される。これにより、第1実施形態は、ユーザUの注目した事実を含むプライバシー情報、およびユーザUの視線方向の対象も暗号化されて記憶されるので、双方のプライバシーを保護しつつ適切に画像を記憶することができる。
 また、第1実施形態は、ユーザUの周辺画像については、周辺画像に含まれるプライバシー情報を認識し、プライバシー情報に対して画像処理を施して、周辺画像に含まれるプライバシー情報を判別不可に記憶装置10の内部の記憶部24に記憶される。これにより、第1実施形態は、ユーザUの周辺画像を自分の行動履歴として記憶するともに、周辺画像に含まれるプライバシー情報を保護しつつ適切に画像を記憶することができる。
 また、第1実施形態は、ユーザUの視線方向の画像のみを暗号化しているため、記憶処理におけるバッファメモリの増加および記憶処理の遅延が発生してしまうことを抑制できる。これにより、第1実施形態は、プライバシー情報を保護しつつ、記憶された視線方向画像および周辺画像を高速で再生することが可能となる。
 [第2実施形態]
 次に第2実施形態について説明する。第2実施形態に係る記憶装置の構成は、図3に示す記憶装置10と同一の構成なので、説明を省略する。
 第2実施形態に係る記憶装置10は、ユーザUの視線方向の画像と、周辺画像との時間を同期させる点で、第1実施形態とは異なる。また、第2実施形態は、周辺画像を記憶装置10とは異なる外部の装置に記憶する点で、第1実施形態とは異なる。
 [記憶装置の処理]
 図5を用いて、第2実施形態に係る記憶装置の処理について説明する。図5は、第2実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
 ステップS50からステップS54の処理は、それぞれ、図4に示すステップS10からステップS14の処理と同一なので、説明を省略する。
 制御部26は、視線方向画像と、周辺画像との時間を同期させる(ステップS56)。具体的には、画像取得部32は、視線方向画像と、周辺画像とのについて、タイムスタンプを付加することにより、同一時間に撮影された視線方向画像と、周辺画像とを判別可能にする。そして、ステップS58に進む。
 ステップS58からステップS80の処理は、それぞれ、図4に示すステップS16からステップS38の処理と同一なので、説明を省略する。
 制御部26は、暗号化された圧縮データを外部装置に記憶する(ステップS82)。具体的には、記憶制御部50は、ステップS80で圧縮された圧縮データを、通信部22を介して、記憶装置10とは異なる外部装置に記憶する。そして、ステップS84に進む。
 ステップS84の処理は、図4に示すステップS42の処理と同一なので、説明を省略する。
 上述のとおり、第2実施形態は、視線方向画像と、周辺方向画像とにタイムスタンプを付加してそれぞれの画像を記憶する。これにより、第2実施形態は、視線方向画像と、周辺方向画像との対応関係が明確になるので、より適切に画像を記憶することができる。
 また、第2実施形態は、周辺画像を記憶装置10とは異なる外部の装置に記憶する。これにより、第2実施形態は、周辺画像のセキュリティがより強固となるので、より適切に画像を記憶することができる。
 [第3実施形態]
 次に、第3実施形態について説明する。第3実施形態は、ユーザUが場所を移動しながら画像を撮像して時系列で記憶する記憶装置において、所定距離を移動するごとに、ブロック暗号の暗号化チェーンをリセットする処理を実行する。
 図6を用いて、第3実施形態に係る記憶装置の構成について説明する。図6は、第3実施形態に係る記憶装置の構成例を示すブロック図である。
 図6に示すように、記憶装置10aは、記憶部24aが地図情報24Cを記憶している点で、図3に図示の記憶装置10とは異なる。記憶装置10aは、GNSS(Global Navigation Satellite System)受信部28を備える点で、図3に図示の記憶装置10とは異なる。記憶装置10aは、制御部26aが位置情報取得部56を備える点で、図3に図示の記憶装置10とは異なる。なお、記憶部24aが地図情報24Cを記憶しているとしたがこれに限定されない。記憶部24aは、通信部22を介して、地図情報24Cを取得し、これを記憶すればよい。つまり、記憶部24aは、地図情報24Cを予め記憶しなくてもよく、必要に応じて地図情報24Cを記憶すればよい。
 GNSS受信部28は、記憶装置10a(ユーザU)の位置情報を検出する装置である。ここでの位置情報とは、地球座標である。本実施形態では、GNSS受信部28は、いわゆるGNSSモジュールであり、衛星からの電波を受信して、記憶装置10aの位置情報を検出する。
 地図情報24Cは、実在の建造部や自然物などの位置情報を含んだデータであり、地球座標と実在の建造物および自然物などの位置情報を含んだデータといえる。
 位置情報取得部56は、GNSS受信部28から位置情報を取得する。位置情報取得部56は、GNSS受信部28が取得した位置情報と、地図情報30Bとに基づいて、記憶装置10a(ユーザ)Uが所定のエリア内に位置しているか否かを判定する。本実施形態では、位置情報の精度は、100m程度以内であることが好ましい。
 第2実施形態では、暗号化部48aは、ユーザの周辺を撮影した画像をブロック暗号で暗号化する。ブロック暗号は、画像を所定のブロックに分割し暗号化を行う手法であり、このブロック暗号には、暗号処理以外のブロックデータの取り扱いルールとして2つの方式がある。1つは、ECB(Electric CodeBook)モードであり、もう1つはOFB(Output FeedBack)モードである。本実施形態では、OFBモードを用いる。
 OFBモードを説明する前に、図7Aと、図7Bとを用いて、ECBモードについて説明する。図7Aは、ECBモードにおける暗号化を説明するための図である。図7Bは、ECBモードにおける復号化を説明するための図である。
 図7Aに示すように、ECBモードでは、平文ブロックデータ100を所定の暗号鍵を用いて暗号化することにより、暗号文ブロックデータ102を得ることができる。暗号文ブロックデータ102を復号化する際には、図7Bに示すように、暗号文ブロックデータ102に対して、平文ブロックデータ100を暗号化する際に用いた暗号鍵と同じ暗号鍵を用いて復号化することにより、平文ブロックデータ100を得ることができる。ECBモードでは、平文ブロックデータ100が同じデータであれば同じ結果が得られる。ECBモードは、全てのブロックデータに対して同じ暗号化を適用するため、シンプルでわかりやすく、かつ実装が簡単であり高速であるので、暗号データのどのブロックデータに対してもランダムアクセスして復号を開始することができる。しかしながら、ECBモードは、平文ブロックデータ100と、暗号文ブロックデータ102を比較することで第三者からパターンが解析され、暗号文を不正に復号されやすく、データをブロックデータ単位で入れ替えをされると改ざんができてしまうというデメリットもある。
 図8Aと、図8Bとを用いて、OFBモードについて説明する。図8Aは、OFBモードにおける暗号化を説明するための図である。図8Bは、OFBモードにおける復号化を説明するための図である。
 図8Aを用いて、第1平文ブロックデータ120と、第2平文ブロックデータ122と、第3平文ブロックデータ124の3つの平文ブロックデータを暗号化する方法について説明する。図8Aに示すように、OFBモードでは、初期ベクトル110を所定の暗号鍵で暗号化することにより、第1暗号化ベクトル112を生成する。第1平文ブロックデータ120と、第1暗号化ベクトル112の排他的論理和を演算することにより、第1暗号文ブロックデータ130が得られる。OFBモードでは、第2平文ブロックデータ122を暗号化するために、第1暗号化ベクトル112を所定の暗号鍵でさらに暗号化し、第2暗号化ベクトル114を生成する。第2平文ブロックデータ122と、第2暗号化ベクトル114の排他的論理和を演算することにより、第2暗号文ブロックデータ132が得られる。OFBモードでは、第3平文ブロックデータ124を暗号化するために、第2暗号化ベクトル114を所定の暗号鍵でさらに暗号化し、第3暗号化ベクトル116を生成する。第3平文ブロックデータ124と、第3暗号化ベクトル116との排他的論理和を演算することにより、第3暗号文ブロックデータ134が得られる。初期ベクトル110と、第1暗号化ベクトル112と、第2暗号化ベクトル114と、第3暗号化ベクトル116とは、鍵ストリームと呼ばれる。初期ベクトル110と、第1暗号化ベクトル112と、第2暗号化ベクトル114と、第3暗号化ベクトル116とは、暗号化チェーンとも呼ばれる。
 図8Bを用いて、第1暗号文ブロックデータ130と、第2暗号文ブロックデータ132と、第3暗号文ブロックデータ134の3つの暗号文ブロックデータを復号化する方法について説明する。図8Bに示すように、OFBモードでは、初期ベクトル110を所定の暗号鍵で暗号化することにより、第1暗号化ベクトル112を生成する。第1暗号文ブロックデータ130と、第1暗号化ベクトル112の排他的論理和を演算することにより、第1平文ブロックデータ120が得られる。OFBモードでは、第2暗号文ブロックデータ132を復号化するために、第1暗号化ベクトル112を所定の暗号鍵でさらに暗号化し、第2暗号化ベクトル114を生成する。第2暗号文ブロックデータ132と、第2暗号化ベクトル114の排他的論理和を演算することにより、第2平文ブロックデータ122が得られる。OFBモードでは、第3暗号文ブロックデータ134を暗号化するために、第2暗号化ベクトル114を所定の暗号鍵でさらに暗号化し、第3暗号化ベクトル116を生成する。第3暗号文ブロックデータ134と、第3暗号化ベクトル116との排他的論理和を演算することにより、第3平文ブロックデータ124が得られる。初期ベクトル110と、第1暗号化ベクトル112と、第2暗号化ベクトル114と、第3暗号化ベクトル116とは、鍵ストリームと呼ばれる。初期ベクトル110と、第1暗号化ベクトル112と、第2暗号化ベクトル114と、第3暗号化ベクトル116とは、暗号化チェーンとも呼ばれる。
 [記憶装置の処理]
 図9を用いて、第3実施形態に係る記憶装置の処理について説明する。図9は、第3実施形態に係る記憶装置の処理の流れを示すフローチャートである。
 制御部26aは、記憶装置10a(ユーザU)の現在の位置情報を取得する(ステップS90)。具体的には、位置情報取得部56は、GNSS受信部28が取得した位置情報と、地図情報30Bとに基づいて、記憶装置10a(ユーザU)の現在の位置情報を取得する。そして、ステップS92に進む。
 ステップS92からステップS100の処理は、それぞれ、図4に示すステップS10からステップS18の処理と同一なので、説明を省略する。
 制御部26aは、音声と画像とを多重化する(ステップS102)。具体的には、多重化部46aは、ステップS18で圧縮処理された画像と、それに対応するステップS12で圧縮処理された音声とを多重化し。かつステップS90で取得した位置情報を付加して1つの圧縮データを生成する。より具体的には、多重化部46aは、位置情報が対応付けられた画像と音声の圧縮データをそれぞれ所定の大きさにパッキングする。多重化部46aは、例えば、90kHzまたは27MHzなどの図示しないカウンターの同期タイマー信号に基づいて、同時刻に再生すべきパックには同時刻のタイムスタンプをつけるMPEG多重化方式により多重化処理を行う。そして、ステップS104に進む。
 ステップS104と、ステップS106との処理は、図4に示すステップS22と、ステップS24との処理と同一の処理なので、説明を省略する。
 ステップS106でYesと判定された場合、制御部26aは、暗号鍵を生成する(ステップS108)。具体的には、暗号化部48aは、予め用意された初期ベクトルに基づいて、暗号化チェーンに含まれる各暗号化ブロックの暗号鍵の鍵ストリームを生成する。そして、ステップS110に進む。
 制御部26aは、圧縮データを暗号化する(ステップS110)。具体的には、暗号化部48aは、ステップS106で生成された鍵ストリームを用いて、圧縮データと、鍵ストリームとの排他的論理を演算することで、複数の暗号化ブロックデータが連なる暗号化チェーンにより圧縮データを暗号化する。そして、ステップS112に進む。
 ステップS112の処理は、図3に示すステップS30の処理と同一なので、説明を省略する。
 制御部26aは、所定距離以上移動したか否かを判定する(ステップS114)。具体的には、位置情報取得部56は、GNSS受信部28が取得した位置情報と、地図情報24Cとに基づいて、記憶装置10a(ユーザU)が所定距離以上移動した否かを判定する。
 図10は、記憶装置10a(ユーザU)が所定距離以上移動したか否かを判定する方法を説明するための図である。図10は、記憶装置10a(ユーザU)の地図上の軌跡を示している。記憶装置10aは、地点P1から地点P5まで移動するとする。記憶装置10aは、ユーザUが地点P1から地点P5までの間の観光地を巡っている間、ユーザUの視線方向の画像を撮像し、撮像した画像を暗号化して記憶している。
 位置情報取得部56は、記憶装置10a(ユーザU)が地点P1から地点P5に移動するまでの間、記憶装置10a(ユーザU)の位置情報を取得する。この場合、例えば、地図情報24Cは、エリアA1と、エリアA2と、エリアA3と、エリアA4と、エリアA5とのエリア情報を有する。言い換えれば、地図情報24Cには、エリアA1からエリアA5が予め対応付けられている。位置情報取得部56は、GNSS受信部28が取得した位置情報と、地図情報24Cとに基づいて、記憶装置10a(ユーザU)がどのエリアに位置しているか判定することができる。
 位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリア間を移動したか否かを判定する。位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアA1の地点P1からエリアA2の地点P2に移動したか否かを判定する。位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアA2の地点P2からエリアA3の地点P3に移動したか否かを判定する。位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアA3の地点P3からエリアA4の地点P4に移動したか否かを判定する。位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアA4の地点P4からエリアA5の地点P5に移動したか否かを判定する。本実施形態では、位置情報取得部56は、例えば、記憶装置10a(ユーザU)がエリアを移動した場合に、記憶装置10a(ユーザU)が所定距離以上移動したと判定する。
 記憶装置10a(ユーザU)が所定距離以上移動したと判定された場合(ステップS114;Yes)、ステップS116に進む。記憶装置10a(ユーザU)が所定距離以上移動していないと判定された場合(ステップS114;No)、ステップS128に進む。
 ステップS114でYesと判定された場合、制御部26aは、暗号化チェーンをリセットする(ステップS116)。具体的には、暗号化部48aは、暗号鍵を生成するための初期ベクトルの値を所定のルールに従ってリセットする。すなわち、本実施形態では、例えば、記憶装置10a(ユーザU)がエリアを移動するごとに、初期ベクトルをリセットし、エリアごとに暗号化された画像がそれぞれ独立に記憶装置10aに記憶される。そして、ステップS128に進む。
 ステップS118からステップS128の処理は、それぞれ、図4に示すステップS32からステップS42の処理と同一なので、説明を省略する。
 上述のとおり、第3実施形態は、記憶装置10a(ユーザU)が所定距離以上移動した場合に、暗号鍵を生成するための初期ベクトルをリセットする。これにより、第3実施形態は、セキュリティが向上し、より適切に画像を記憶することができる。
 また、第3実施形態は、所定の距離ごと、例えば、エリアごとの画像がそれぞれ独立に記憶される。これにより、第3実施形態は、特定のエリアの画像を再生する際に、画像の全てを復号化する必要がなくなるため、特定のエリアの画像を再生することができる。
 [第4実施形態]
 次に第4実施形態について説明する。図11は、第4実施形態に係る記憶装置の構成例を示すブロック図である。第4実施形態に係る記憶装置10bは、制御部26bの暗号化部48bの機能が、図6に図示の記憶装置10aと異なる。
 第4実施形態では、暗号化部48bは、位置情報取得部56により記憶装置10b(ユーザU)が所定距離以上移動したと判定された場合、初期ベクトルをリセットし、移動後の位置情報に基づいて、初期ベクトルおよび暗号鍵を生成する。
 [記憶装置の処理]
 図12を用いて、第4実施形態に係る記憶装置の処理について説明する。図12は、第4実施形態に係る記憶装置の処理の流れの一例を示すフローチャートである。
 ステップS130からステップS156の処理は、それぞれ、図9に図示のステップS90からステップS116の処理と同一なので説明を省略する。
 制御部26bは、記憶装置10b(ユーザU)の現在の位置情報に基づいて、暗号鍵を生成する(ステップS158)。具体的には、本実施形態では、AES暗号化方式を用いて、ブロック暗号のサイズを128bit、暗号鍵のサイズを256bit、初期ベクトルの値を128bitとする。暗号化部48bは、暗号化の解読を困難にするために、初期ベクトルをランダムな数値で生成することが好ましい。本実施形態では、暗号化部48bは、現在の位置情報に基づいて、初期ベクトルの数値を生成する。例えば、暗号化部48bは、現在位置の緯度および経度に基づいて、初期ベクトルを生成し得る。暗号化部48bは、暗号鍵についても、記憶装置10b(ユーザU)の現在の位置情報に基づいて、生成してもよい。暗号化部48bは、記憶装置10b(ユーザU)の現在の位置情報と、ユーザUの生体情報とに基づいて、暗号鍵を生成してもよい。暗号化部48bは、暗号化するメッセージごとに異なる数値で初期ベクトルを生成することが好ましい。そして、ステップS170に進む。
 ステップS160からステップS170の処理は、それぞれ、図9に示すステップS118からステップS128の処理と同一なので、説明を省略する。
 上述のとおり、第4実施形態では、記憶装置10b(ユーザU)の現在の位置情報に基づいて、初期ベクトルおよび暗号鍵を生成する。これにより、第4実施形態は、初期ベクトルと暗号鍵との生成するためのアルゴリズムをより複雑にすることができるので、安全性をより向上させることができる。
 また、第4実施形態は、所定の距離ごと、例えば、エリアごとの画像がそれぞれ独立に記憶される。また、第4実施形態では、特定のエリアごとの画像を、そのエリアの位置情報に応じて生成された初期ベクトルと、暗号鍵とを用いた暗号化できるので、初期ベクトルと、暗号鍵とのパターンをより多く生成することができる。これにより、第4実施形態は、安全性をより向上させることができる。
 以上、本開示の実施形態を説明したが、これら実施形態の内容により本開示が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
 本実施形態の記憶装置は、ユーザが装着するウェアラブルデバイスに適用することができる。
 10,10a,10b 記憶装置
 12 マイク
 12A 左マイク
 12B 右マイク
 14 カメラ
 14A 視線方向カメラ
 14B 周辺カメラ
 16 生体センサ
 18 入力部
 20 出力部
 20A 表示部
 20B 音声出力部
 22 通信部
 24 記憶部
 24A 学習モデル
 24B 生体情報
 24C 地図情報
 26,26a,26b 制御部
 28 GNSS受信部
 30 音声取得部
 32 画像取得部
 34 生体情報取得部
 36 認証部
 38 音声処理部
 40 画像処理部
 42 画像認識部
 44 画像加工部
 46,46a 多重化部
 48,48a,48b 暗号化部
 50 記憶制御部
 52 出力制御部
 54 通信制御部
 56 位置情報取得部

Claims (8)

  1.  ユーザの生体情報を検出する生体センサと、
     前記ユーザの周辺を撮影した画像を撮像部から取得する画像取得部と、
     前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離する画像処理部と、
     前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化する暗号化部と、
     前記暗号化部が暗号化した前記視線方向画像を記憶部に記憶する記憶制御部と、
     を備える、記憶装置。
  2.  前記周辺画像にプライバシー情報が含まれているか否かを判定する画像判定部と、
     前記周辺画像にプライバシー情報が含まれている場合、前記プライバシー情報を判別不
    可に加工する画像加工部と、をさらに備えた、
     請求項1に記載の記憶装置。
  3.  前記画像処理部は、前記視線方向画像と、前記周辺画像との時間を同期させ、
     前記記憶制御部は、前記視線方向画像を前記記憶部に記憶し、前記周辺画像を、通信部
    を介して外部装置に記憶する、
     請求項1または2に記載の記憶装置。
  4.  ユーザの位置情報を取得する位置情報取得部と、
     を備え、
     前記暗号化部は、前記ユーザの位置情報が所定距離以上移動した場合に、暗号化するための暗号鍵を前記ユーザの位置情報に基づいて生成する、
     請求項1から3のいずれか1項に記載の記憶装置。
  5.  前記暗号化部は、前記ユーザの位置情報と、前記記憶部に記憶された地図情報に基づいて、前記ユーザが予め定められたエリア間を移動したと判定された場合に、前記暗号鍵に関する暗号化チェーンをリセットする、
     請求項4に記載の記憶装置。
  6.  前記暗号化部は、前記ユーザの位置情報が所定距離以上移動した場合に、前記暗号鍵に関する暗号化チェーンをリセットする、
     請求項4または5に記載の記憶装置。
  7.  ユーザの生体情報を検出するステップと、
     前記ユーザの周辺を撮影した画像を撮像部から取得するステップと、
     前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離するステップと、
     前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化するステップと、
     暗号化した前記視線方向画像を記憶部に記憶するステップと、
     を含む、記憶方法。
  8.  ユーザの生体情報を検出するステップと、
     前記ユーザの周辺を撮影した画像を撮像部から取得するステップと、
     前記ユーザの周辺の画像のうち、前記ユーザの視線方向の画像に関する視線方向画像と、前記視線方向画像以外の画像に関する周辺画像とを分離するステップと、
     前記ユーザの生体情報に基づいて、前記視線方向画像を暗号化するための暗号鍵を生成し、前記暗号鍵を用いて前記視線方向画像を暗号化するステップと、
     暗号化した前記視線方向画像を記憶部に記憶するステップと、
     をコンピュータに実行させる、プログラム。
PCT/JP2021/034825 2020-09-24 2021-09-22 記憶装置、記憶方法、およびプログラム WO2022065372A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180059522.7A CN116134437A (zh) 2020-09-24 2021-09-22 存储装置、存储方法和程序
EP21872501.8A EP4202746A4 (en) 2020-09-24 2021-09-22 STORAGE DEVICE, STORAGE METHOD AND PROGRAM
US18/182,421 US20230216672A1 (en) 2020-09-24 2023-03-13 Storage apparatus, storage method, and computer-readable storage medium

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020-160129 2020-09-24
JP2020160130A JP2022053339A (ja) 2020-09-24 2020-09-24 記憶装置、記憶方法、およびプログラム
JP2020-159527 2020-09-24
JP2020160129A JP2022053338A (ja) 2020-09-24 2020-09-24 記憶装置、記憶方法、およびプログラム
JP2020159527A JP2022052972A (ja) 2020-09-24 2020-09-24 記憶装置、記憶方法、およびプログラム
JP2020-160130 2020-09-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/182,421 Continuation US20230216672A1 (en) 2020-09-24 2023-03-13 Storage apparatus, storage method, and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2022065372A1 true WO2022065372A1 (ja) 2022-03-31

Family

ID=80846529

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/034825 WO2022065372A1 (ja) 2020-09-24 2021-09-22 記憶装置、記憶方法、およびプログラム

Country Status (4)

Country Link
US (1) US20230216672A1 (ja)
EP (1) EP4202746A4 (ja)
CN (1) CN116134437A (ja)
WO (1) WO2022065372A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341632A (ja) 1999-05-26 2000-12-08 Matsushita Electric Ind Co Ltd 画像記録再生装置と画像再生装置と不正利用防止方法
JP2003184351A (ja) 2001-12-12 2003-07-03 Sankyo Alum Ind Co Ltd フェンス
JP2020077237A (ja) * 2018-11-08 2020-05-21 本田技研工業株式会社 運行データレコーディングシステム、運行データレコーダ、端末装置、および運行データレコーディング方法
JP2020108112A (ja) * 2018-12-28 2020-07-09 キヤノン株式会社 電子機器及びその制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
KR102100582B1 (ko) * 2019-02-01 2020-04-13 순천향대학교 산학협력단 영상보안시스템에서 형태보존암호 기술을 이용한 프라이버시 마스킹 방법 및 이를 수행하기 위한 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341632A (ja) 1999-05-26 2000-12-08 Matsushita Electric Ind Co Ltd 画像記録再生装置と画像再生装置と不正利用防止方法
JP2003184351A (ja) 2001-12-12 2003-07-03 Sankyo Alum Ind Co Ltd フェンス
JP2020077237A (ja) * 2018-11-08 2020-05-21 本田技研工業株式会社 運行データレコーディングシステム、運行データレコーダ、端末装置、および運行データレコーディング方法
JP2020108112A (ja) * 2018-12-28 2020-07-09 キヤノン株式会社 電子機器及びその制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4202746A4

Also Published As

Publication number Publication date
EP4202746A1 (en) 2023-06-28
CN116134437A (zh) 2023-05-16
EP4202746A4 (en) 2024-01-03
US20230216672A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
US9330272B2 (en) Head-mounted display apparatus with enhanced security and method for accessing encrypted information by the apparatus
CN105320874B (zh) 用于对内容进行加密或解密的方法和装置
EP3180887B1 (en) System and method for shared key agreement over untrusted communication channels
US20080260147A1 (en) Method and apparatus for encrypting message for maintaining message integrity, and method and apparatus for decrypting message for maintaining message integrity
KR102066778B1 (ko) 사물 인터넷 기반의 영상 송신 장치 및 영상 수신 장치를 포함하는 영상 처리 시스템 및 이를 이용한 영상 처리 방법
EA037018B1 (ru) Способ цифрового подписания электронного файла
WO2008010275A1 (en) Medium data processing device and medium data processing method
WO2019112650A1 (en) Server-assisted privacy protecting biometric comparison
JP2023534417A (ja) 合成再暗号化画像を使用した画像配信
KR20170038542A (ko) 보안 인증 장치 및 보안 인증 방법
WO2022065372A1 (ja) 記憶装置、記憶方法、およびプログラム
JP2022052972A (ja) 記憶装置、記憶方法、およびプログラム
JP2022053338A (ja) 記憶装置、記憶方法、およびプログラム
JP2022053339A (ja) 記憶装置、記憶方法、およびプログラム
US20060236121A1 (en) Method and apparatus for highly secure communication
KR102523416B1 (ko) 이미지에 대한 보안 기능을 제공하는 보안 장치, 이를 포함하는 카메라 장치 및 카메라 장치를 제어하는 시스템 온 칩
KR101746168B1 (ko) 차량용 블랙박스의 영상 처리를 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
JP5718757B2 (ja) 画像管理装置、画像管理プログラム、および画像管理方法
KR102509624B1 (ko) 영상 정보 보호 시스템 및 방법
JP2008022374A (ja) 撮影装置およびその制御方法
KR102530463B1 (ko) 보행자 얼굴 검출 정보를 매개로 한 영상 보안 장치 및 그 방법
JP2018509801A (ja) アナログ−デジタル署名の実施のための信頼される環境を提供する方法、および、それを実現する装置
KR101938736B1 (ko) 생체 데이터를 처리하는 데이터 처리 장치 및 그 방법
KR20230064583A (ko) 스트리밍 서비스 제공 시스템 및 이의 방법
CN116015627A (zh) 一种基于对称算法的人脸识别防篡改方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21872501

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021872501

Country of ref document: EP

Effective date: 20230322

NENP Non-entry into the national phase

Ref country code: DE