WO2017179135A1 - 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム - Google Patents

全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム Download PDF

Info

Publication number
WO2017179135A1
WO2017179135A1 PCT/JP2016/061847 JP2016061847W WO2017179135A1 WO 2017179135 A1 WO2017179135 A1 WO 2017179135A1 JP 2016061847 W JP2016061847 W JP 2016061847W WO 2017179135 A1 WO2017179135 A1 WO 2017179135A1
Authority
WO
WIPO (PCT)
Prior art keywords
display image
omnidirectional camera
display
subject
image
Prior art date
Application number
PCT/JP2016/061847
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/061847 priority Critical patent/WO2017179135A1/ja
Priority to JP2018511806A priority patent/JP6393854B2/ja
Publication of WO2017179135A1 publication Critical patent/WO2017179135A1/ja
Priority to US16/059,151 priority patent/US10389947B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Definitions

  • the present invention relates to an omnidirectional camera display image change system, an omnidirectional camera display image change method, and a program for displaying an image captured by an omnidirectional camera on a connected display.
  • an omnidirectional camera capable of capturing 360 degree panoramic images in all directions.
  • a 360-degree panorama is obtained by capturing an omnidirectional image with an imaging device having a plurality of cameras as one device or an imaging device having a plurality of special lenses.
  • An image can be displayed as a display image. In such a display image, the user can change the display position by operating and inputting a desired place.
  • a configuration in which the display center of a display image displayed on the display device is changed based on a user operation input such as a touch panel operation or a mouse operation, and the changed image is displayed (patent) Reference 1).
  • Patent Document 1 since it is necessary to perform an operation input in order to view a display image at a location desired by the user, many operation inputs must be performed to display the location desired by the user. There was a risk of having to. Therefore, convenience was low.
  • An object of the present invention is to provide an omnidirectional camera display image changing system, an omnidirectional camera display changing method, and a program that improve convenience.
  • the present invention provides the following solutions.
  • the invention according to the first feature is an omnidirectional camera display image change system for displaying a captured image captured by an omnidirectional camera on a connected display, Eye-gaze detecting means for detecting the eye gaze of the subject imaged by the omnidirectional camera; Display image changing means for changing the display image so that the subject is displayed near the center of the display when detected.
  • An omnidirectional camera display image changing system is provided.
  • the omnidirectional camera display image changing system for displaying the captured image captured by the omnidirectional camera on the connected display is the subject captured by the omnidirectional camera. And the display image is changed so that the subject is displayed near the center of the display.
  • the invention according to the first feature is a category of the omnidirectional camera display image change system, but also in other categories such as a method or a program, the same actions and effects according to the category are exhibited. .
  • the invention according to the second feature is an omnidirectional camera display image change system for displaying a captured image captured by an omnidirectional camera on a connected display, Motion detection means for detecting motion of a subject imaged by the omnidirectional camera; Display image changing means for changing the display image so that the subject is displayed near the center of the display when detected.
  • An omnidirectional camera display image changing system is provided.
  • the omnidirectional camera display image changing system for displaying the captured image captured by the omnidirectional camera on the connected display is the subject captured by the omnidirectional camera.
  • the display image is changed so that the subject is displayed near the center of the display.
  • the invention according to the second feature is a category of the omnidirectional camera display image change system, but also in other categories such as a method or a program, the same operation and effect according to the category are exhibited. .
  • the invention according to the third feature is an omnidirectional camera display image change system for displaying a captured image captured by an omnidirectional camera on a connected display, Audio detection means for detecting the audio of the subject imaged by the omnidirectional camera; Display image changing means for changing the display image so that the subject is displayed near the center of the display when detected.
  • An omnidirectional camera display image changing system is provided.
  • the omnidirectional camera display image changing system for displaying the captured image captured by the omnidirectional camera on the connected display is the subject captured by the omnidirectional camera. , And when it is detected, the display image is changed so that the subject is displayed near the center of the display.
  • the invention according to the third feature is a category of the omnidirectional camera display image change system, but also in other categories such as a method or a program, the same actions and effects according to the category are exhibited. .
  • the invention according to a fourth aspect includes: a focus changing unit that focuses the omnidirectional camera on the subject reflected in the changed display image; There is provided an omnidirectional camera display image changing system which is an invention according to any one of the first to third features.
  • the omnidirectional camera display image change system which is the invention related to any one of the first to third features provides the subject displayed in the changed display image, The omnidirectional camera is focused.
  • the display image changing means changes the display image by rotating the captured image of the omnidirectional camera.
  • the omnidirectional camera display image changing system is a display image obtained by rotating a captured image of the omnidirectional camera. To change.
  • the invention determines that the detection means has detected when a value to be detected exceeds a threshold value.
  • An omnidirectional camera display image changing system according to any one of the first to third features is provided.
  • the omnidirectional camera display image change system detects that the detected value exceeds the threshold value. to decide.
  • the display image changing means changes the display image so that the eyes of the subject are displayed near the center of the display.
  • an omnidirectional camera display image changing system which is an invention according to a first feature.
  • the omnidirectional camera display image changing system changes the display image so that the eye of the subject is displayed near the center of the display. To do.
  • the display image changing means changes the display image so that the portion where the subject is operating is displayed near the center of the display.
  • the omnidirectional camera display image change system displays so that the location where the subject is operating is displayed near the center of the display. Change the image.
  • the display image changing means changes the display image so that the mouth of the subject is displayed near the center of the display.
  • an omnidirectional camera display image changing system which is an invention according to a third feature.
  • the omnidirectional camera display image change system changes the display image so that the mouth of the subject is displayed near the center of the display. To do.
  • An invention according to a tenth aspect is a omnidirectional camera display image changing method for displaying a captured image captured by an omnidirectional camera on a connected display, Detecting the line of sight of the subject imaged by the omnidirectional camera; Changing the display image so that, when detected, the subject is displayed near the center of the display; An omnidirectional camera display image changing method is provided.
  • the invention according to an eleventh feature is a omnidirectional camera display image changing method for displaying a captured image captured by an omnidirectional camera on a connected display, Detecting a motion of a subject imaged by the omnidirectional camera; Changing the display image so that, when detected, the subject is displayed near the center of the display; An omnidirectional camera display image changing method is provided.
  • An invention according to a twelfth aspect is a omnidirectional camera display image changing method for displaying a captured image captured by an omnidirectional camera on a connected display, Detecting the sound of the subject imaged by the omnidirectional camera; Changing the display image so that, when detected, the subject is displayed near the center of the display; An omnidirectional camera display image changing method is provided.
  • the invention according to the thirteenth feature provides an omnidirectional camera display image change system for displaying a captured image captured by an omnidirectional camera on a connected display, Detecting a line of sight of a subject imaged by the omnidirectional camera; Changing the display image so that the subject is displayed near the center of the display when detected, A program characterized in that is executed is provided.
  • the invention according to the fourteenth feature is a omnidirectional camera display image change system for displaying a captured image captured by an omnidirectional camera on a connected display. Detecting a motion of a subject imaged by the omnidirectional camera; Changing the display image so that the subject is displayed near the center of the display when detected, A program characterized in that is executed is provided.
  • the invention according to the fifteenth feature is a omnidirectional camera display image change system that displays a captured image captured by an omnidirectional camera on a connected display. Detecting audio of a subject imaged by the omnidirectional camera; Changing the display image so that the subject is displayed near the center of the display when detected, A program characterized in that is executed is provided.
  • an omnidirectional camera display image change system it is possible to provide an omnidirectional camera display image change system, an omnidirectional camera display image change method, and a program that improve convenience.
  • FIG. 1 is a diagram showing an overview of an omnidirectional camera display image changing system 1.
  • FIG. 2 is an overall configuration diagram of the omnidirectional camera display image changing system 1.
  • FIG. 3 is a functional block diagram of the information terminal 100.
  • FIG. 4 is a flowchart showing display image change processing executed by the information terminal 100.
  • FIG. 5 is a modified image displayed by the information terminal 100.
  • FIG. 6 is a modified image displayed by the information terminal 100.
  • FIG. 7 is a modified image displayed by the information terminal 100.
  • FIG. 1 is a diagram for explaining an overview of an omnidirectional camera display image changing system 1 according to a preferred embodiment of the present invention.
  • the omnidirectional camera display image changing system 1 includes an information terminal 100.
  • the number of information terminals 100 is not limited to one and may be plural. Further, the information terminal 100 may be realized by either or both of a real device and a virtual device.
  • the information terminal 100 is a terminal device that includes an omnidirectional camera capable of capturing 360-degree panoramic photos in all directions, and that can display panoramic images on its own display.
  • the information terminal 100 is, for example, a mobile phone, a portable information terminal, a tablet terminal, a personal computer, an electronic product such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass worn by an operator, It is a wearable terminal such as a head-mounted display and other articles.
  • the information terminal 100 captures the subject as a subject and the subject and the surroundings of the subject as a panoramic photograph.
  • the information terminal 100 may image a person other than the user as a subject, or may image an article other than the person as a subject.
  • the information terminal 100 captures a full-field image by the omnidirectional camera and displays a part of the full-field image as a display image on the information terminal 100 (step S01). Note that the information terminal 100 captures an image such as a still image or a moving image.
  • the information terminal 100 determines whether or not subject information such as a subject's line of sight, sound, and motion has been detected. If so, the display position of the subject in the display image is changed to the vicinity of the center of the display, and the changed display is displayed. The image is displayed as a changed image (step S02).
  • FIG. 2 is a diagram showing a system configuration of the omnidirectional camera display image changing system 1 which is a preferred embodiment of the present invention.
  • the omnidirectional camera display image changing system 1 includes an information terminal 100.
  • the information terminal 100 is not limited to one and may be a plurality. Further, the information terminal 100 may be realized by either or both of a real device and a virtual device.
  • the information terminal 100 is the above-described terminal device having the functions described below. Note that the information terminal 100 and the omnidirectional camera may be separate. In this case, the information terminal 100 and the omnidirectional camera may be connected via a wired connection, short-range wireless communication, infrared communication, a public network, or the like. The information terminal 100 may perform data communication with the omnidirectional camera and display an image captured by the omnidirectional camera.
  • FIG. 3 is a functional block diagram of the information terminal 100.
  • the information terminal 100 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 110, and a device for enabling communication with other devices as a communication unit, For example, a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the information terminal 100 includes, as the input / output unit 130, a display unit that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that receives input from the user, It includes a detection device that detects the line of sight, motion, and sound, and an imaging device such as an omnidirectional camera that images the subject.
  • a detection device that detects the line of sight, motion, and sound
  • an imaging device such as an omnidirectional camera that images the subject.
  • the information terminal 100 realizes the imaging module 170, the display module 171, and the detection module 172 in cooperation with the input / output unit 130 when the control unit 110 reads a predetermined program.
  • FIG. 4 is a diagram illustrating a flowchart of display image change processing executed by the information terminal 100. Processing executed by each module described above will be described together with this processing.
  • the imaging module 170 determines whether an imaging instruction from the user has been received (step S10).
  • the imaging module 170 activates a dedicated application and determines whether an imaging instruction has been received based on whether an imaging instruction input has been received, an imaging switch input has been received, or the like. to decide.
  • step S10 when the imaging module 170 determines that an imaging instruction has not been received (step S10: NO), this process is repeated.
  • step S10 determines whether the imaging module 170 has received an imaging instruction (step S10 YES).
  • the entire visual field is imaged to create a full visual field image (step S11).
  • the imaging module 170 captures images such as moving images and still images.
  • step S11 a configuration may be adopted in which a plurality of omnidirectional images are captured from a certain point, and the captured images are combined to create a full-field image.
  • the display module 171 displays a specific area of the captured entire field image as a display image (step S12).
  • the display module 171 may display a preset area of the entire visual field image as the specific area. Further, the display module 171 may recognize the subject as a user by recognizing the entire visual field image, and display the entire image of the user as a specific area. The display module 171 may display the display image by other methods.
  • the display module 171 determines whether or not a subject is included in the display image (step S13). In step S13, the display module 171 recognizes the display image and determines whether or not the subject is present in the display image. Note that a person or an article other than the user may be the subject.
  • step S13 when the display module 171 determines that the subject is not included (step S13, NO), the full-field image is recognized and the position of the subject is specified (step S14).
  • the display module 171 changes the display image by rotating the current display image so that the entire image of the specified subject is displayed at a position near the center of the display module 171 (step S15).
  • rotating around means that the current display image is moved so that the entire image of the subject is located near the center.
  • the display image may be changed by a method other than rotation, for example, by moving the display position. Moreover, you may change by another method.
  • the display module 171 focuses on the subject in the changed display image (step S16). Note that the process of step S16 may be omitted.
  • step S13 when the display module 171 determines in step S13 that the subject is included (YES in step S13), the display module 171 focuses on the subject (step S16). Note that the process of step S16 may be omitted.
  • the detection module 172 determines whether or not subject information such as a subject's line of sight, motion, and sound has been detected (step S17). In step S17, the detection module 172 determines that the subject information has been detected when the subject information exceeds a predetermined threshold, and determines that it has not been detected when the subject information is not exceeded. Also good.
  • the detection module 172 may have a configuration in which a threshold is set for the line of sight, movement amount of movement, sound volume, and the like, and when the movement amount and volume exceed the threshold, it is determined that the detection has been performed. .
  • the threshold value may be of a type other than the types described above, and the type and amount can be changed as appropriate.
  • the detection module 172 identifies the positions of the eyes and iris in the subject whose image has been recognized. The detection module 172 detects the line of sight of the subject based on the position of the identified eye and iris. Moreover, the detection module 172 specifies the position of corneal reflection and a pupil by an infrared camera and infrared LED. The detection module 172 detects the line of sight of the subject based on the specified position of the corneal reflection and the pupil. Note that the detection module 172 may detect the line of sight of the subject by other methods.
  • the movement of the subject means a specific movement of a part or all of the body of the subject.
  • the detection module 172 identifies a part or all of the body movement in the subject whose image has been recognized. As part or all of the body movement, for example, move your hand up, move your hand down, finger up, finger up, head up, head down, whole body It ’s like turning back. Note that the operation is not limited to the above-described example, and may be other operations or a combination of a plurality of operations.
  • the voice of the subject indicates a voice uttered by the subject.
  • the detection module 172 recognizes the sound of the subject input through a sound input device such as a microphone and detects the sound.
  • step S17 when the detection module 172 determines that the subject information has not been detected (NO in step S17), this process is repeated.
  • step S17 when the detection module 172 determines in step S17 that the subject information has been detected (YES in step S17), the display module 171 changes the display image so that the subject is displayed near the center of the subject, The subject is displayed with the focus changed (step S18).
  • step S18 the display module 171 changes the display image by rotating, moving, or the like of the corresponding part of the full-field image. Rotation means that the displayed image is moved by a predetermined angle in one direction around a certain point. Moreover, the movement means that the displayed image is moved in a predetermined direction.
  • the vicinity of the center of the screen indicates the center of the screen or the vicinity of the center of the screen, and is not necessarily the position of the center of the screen. Note that the display module 171 may not focus on the subject in the changed image.
  • the detection module 172 detects the line of sight of the subject in step S18.
  • the display module 171 displays a modified image in which the eye position of the subject is matched near the center of the screen.
  • FIG. 5 is a diagram showing a change image displayed by the display module 171.
  • the display module 171 changes the position of the subject's eye 200 to the center position of the image display area, which is an area that can be displayed by itself, and focuses on the entire subject. At the center, the changed image is displayed in the image display area. Note that the focus may be on the subject's eyes 200 instead of the entire subject. Moreover, you may focus on other than a to-be-photographed object.
  • the detection module 172 detects the movement of the subject in step S18.
  • the display module 171 displays a modified image in which the position of the motion location of the subject is matched with the vicinity of the center of the screen.
  • FIG. 6 is a diagram showing a change image displayed by the display module 171.
  • the display module 171 changes the position of the hand 300 of the subject to the center position of the image display area, focuses on the entire subject, and changes to the image display area centering on the hand 300 of the subject. Display an image. Note that the focus may be on the subject's hand 300 instead of the entire subject. Moreover, you may focus on other than a to-be-photographed object.
  • the detection module 172 detects the sound of the subject in step S18.
  • the display module 171 displays a modified image in which the position of the mouth of the subject is set near the center of the screen.
  • FIG. 7 is a diagram showing a change image displayed by the display module 171.
  • the display module 171 changes the position of the subject's mouth 400 to the center position of the image display area, focuses on the entire subject, and changes to the image display area around the subject's mouth 400. Display an image.
  • the focus may be focused on the mouth 400 of the subject instead of the entire subject. Moreover, you may focus on other than a to-be-photographed object.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Abstract

【課題】利便性を向上させた全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラムを提供することを目的とする。 【解決手段】全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システム１は、全天球カメラで撮像された被写体の視線を検知し、検知された場合に、被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。

Description

全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム
　本発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラムに関する。
　近年、上下左右全方位の３６０度パノラマ画像を撮像可能な全天球カメラが提案されている。このような全天球カメラでは、全視野を撮像するために、複数のカメラを一の装置とした撮像装置や、特殊なレンズを複数備えた撮像装置により、全方位を撮像し、３６０度パノラマ画像を表示画像として表示することを可能としている。このような表示画像において、ユーザは、所望する場所を操作入力することにより、表示位置の変更を行うことが可能となっている。
　このような構成として、表示装置に表示する表示画像の表示中心を、タッチパネル操作やマウス操作等のユーザの操作入力に基づいて変更し、変更後の画像を表示する構成が開示されている（特許文献１参照）。
特開２０１５－２３０６２５号公報
　しかしながら、特許文献１の構成では、ユーザが所望する場所の表示画像を閲覧するために、操作入力を行う必要があるため、ユーザが所望する場所を表示するには、多くの操作入力を行わなければならないおそれがあった。そのため、利便性が低かった。
　本発明の目的は、利便性を向上させた全天球カメラ表示画像変更システム、全天球カメラ表示変更方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
　前記全天球カメラで撮像された被写体の視線を検知する視線検知手段と、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
　を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。
　第１の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の視線を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
　ここで、第１の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第２の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
　前記全天球カメラで撮像された被写体の動作を検知する動作検知手段と、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
　を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。
　第２の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の動作を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
　ここで、第２の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第３の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
　前記全天球カメラで撮像された被写体の音声を検知する音声検知手段と、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
　を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。
　第３の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の音声を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
　ここで、第３の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　第４の特徴に係る発明は、前記変更された表示画像に映っている前記被写体に、前記全天球カメラの焦点を合わせる焦点変更手段と、
　を備えることを特徴とする第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
　第４の特徴に係る発明によれば、第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、前記変更された表示画像に映っている前記被写体に、前記全天球カメラの焦点を合わせる。
　第５の特徴に係る発明は、前記表示画像変更手段が、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する、
　ことを特徴とする第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
　第５の特徴に係る発明によれば、第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する。
　第６の特徴に係る発明は、前記検知手段が、検知する値が閾値を超えた場合に、検知したと判断する、
　ことを特徴とする第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
　第６の特徴に係る発明によれば、第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、検知する値が閾値を超えた場合に、検知したと判断する。
　第７の特徴に係る発明は、前記表示画像変更手段が、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
　ことを特徴とする第１の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
　第７の特徴に係る発明によれば、第１の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
　第８の特徴に係る発明は、前記表示画像変更手段が、前記被写体の動作している箇所がディスプレイの中央付近に表示されるように表示画像を変更する、
　ことを特徴とする第２の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
　第８の特徴に係る発明によれば、第２の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の動作している箇所がディスプレイの中央付近に表示されるように表示画像を変更する。
　第９の特徴に係る発明は、前記表示画像変更手段が、前記被写体の口が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
　ことを特徴とする第３の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。
　第９の特徴に係る発明によれば、第３の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の口が前記ディスプレイの中央付近に表示されるように表示画像を変更する。
　第１０の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
　前記全天球カメラで撮像された被写体の視線を検知するステップと、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
　を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。
　第１１の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
　前記全天球カメラで撮像された被写体の動作を検知するステップと、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
　を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。
　第１２の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
　前記全天球カメラで撮像された被写体の音声を検知するステップと、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
　を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。
　第１３の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
　前記全天球カメラで撮像された被写体の視線を検知するステップ、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
　を実行させることを特徴とするプログラムを提供する。
　第１４の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
　前記全天球カメラで撮像された被写体の動作を検知するステップ、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
　を実行させることを特徴とするプログラムを提供する。
　第１５の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
　前記全天球カメラで撮像された被写体の音声を検知するステップ、
　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
　を実行させることを特徴とするプログラムを提供する。
　本発明によれば、利便性を向上させた全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラムを提供することが可能となる。
図１は、全天球カメラ表示画像変更システム１の概要を示す図である。 図２は、全天球カメラ表示画像変更システム１の全体構成図である。 図３は、情報端末１００の機能ブロック図である。 図４は、情報端末１００が実行する表示画像変更処理を示すフローチャートである。 図５は、情報端末１００が表示する変更画像である。 図６は、情報端末１００が表示する変更画像である。 図７は、情報端末１００が表示する変更画像である。
　以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。
　［全天球カメラ表示画像変更システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態における全天球カメラ表示画像変更システム１の概要を説明するための図である。全天球カメラ表示画像変更システム１は、情報端末１００から構成される。
　なお、図１において、情報端末１００は、１つに限らず複数であってもよい。また、情報端末１００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。
　情報端末１００は、上下左右全方位の３６０度のパノラマ写真を撮像可能な全天球カメラを備え、パノラマ画像を自身が有するディスプレイに表示可能な端末装置である。情報端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、オペレータが装着するスマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
　以下の説明において、情報端末１００は、ユーザを被写体として、被写体及び被写体の周辺をパノラマ写真として撮像するものとして説明する。なお、情報端末１００は、ユーザ以外の人物を被写体として撮像してもよいし、人物以外の物品等を被写体として撮像してもよい。
　情報端末１００は、全天球カメラにより、全視野画像を撮像し、この全視野画像の一部を表示画像として、自身に表示する（ステップＳ０１）。なお、情報端末１００は、静止画又は動画等の画像を撮像する。
　情報端末１００は、被写体の視線、音声、動作等の被写体情報を検知したか否かを判断し、検知した場合、被写体の表示画像における表示位置を、ディスプレイの中央付近に変更し、変更した表示画像を変更画像として表示する（ステップＳ０２）。
　以上が、全天球カメラ表示画像変更システム１の概要である。
　［全天球カメラ表示画像変更システム１のシステム構成］
　図２に基づいて、全天球カメラ表示画像変更システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である全天球カメラ表示画像変更システム１のシステム構成を示す図である。全天球カメラ表示画像変更システム１は、情報端末１００から構成される。なお、情報端末１００は、１つに限らず複数であってもよい。また、情報端末１００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。
　情報端末１００は、後述の機能を備えた上述した端末装置である。なお、情報端末１００と全天球カメラとが別体であってもよい。この場合、情報端末１００と全天球カメラとは、有線接続、近距離無線通信、赤外線通信、公衆回線網等を介して接続される構成であってもよい。情報端末１００は、全天球カメラとデータ通信を実行し、全天球カメラが撮像した画像を表示すればよい。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態である全天球カメラ表示画像変更システム１の機能について説明する。図３は、情報端末１００の機能ブロック図である。
　情報端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、情報端末１００は、入出力部１３０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等や、被写体の視線や動作や音声を検知する検知デバイスや、被写体を撮像する全天球カメラ等の撮像デバイス等を備える。
　情報端末１００は、制御部１１０が所定のプログラムを読み込むことにより、入出力部１３０と協働して、撮像モジュール１７０、表示モジュール１７１、検知モジュール１７２を実現する。
　［表示画像変更処理］
　図４に基づいて、情報端末１００が実行する表示画像変更処理について説明する。図４は、情報端末１００が実行する表示画像変更処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
　はじめに、撮像モジュール１７０は、ユーザからの撮像指示を受け付けたか否かを判断する（ステップＳ１０）。ステップＳ１０において、撮像モジュール１７０は、専用のアプリケーションを起動し、撮像指示の入力を受け付けたか否か、撮像用のスイッチの入力を受け付けたか否か等に基づいて、撮像指示を受け付けたか否かを判断する。ステップＳ１０において、撮像モジュール１７０は、撮像指示を受け付けていないと判断した場合（ステップＳ１０　ＮＯ）、本処理を繰り返す。
　一方、ステップＳ１０において、撮像モジュール１７０は、撮像指示を受け付けたと判断した場合（ステップＳ１０　ＹＥＳ）、全視野を撮像し、全視野画像を作成する（ステップＳ１１）。撮像モジュール１７０は、動画や静止画等の画像を撮像する。なお、ステップＳ１１において、ある一点から全方位の画像を複数撮像し、撮像した画像を合成処理することにより、全視野画像を作成する構成であってもよい。
　表示モジュール１７１は、撮像された全視野画像の特定領域を表示画像として表示する（ステップＳ１２）。ステップＳ１２において、表示モジュール１７１は、全視野画像の予め設定された領域を、特定領域として表示してもよい。また、表示モジュール１７１は、全視野画像を画像認識することにより、ユーザである被写体を認識し、このユーザの全体像を、特定領域として表示してもよい。また、表示モジュール１７１は、その他の方法により表示画像を表示してもよい。
　表示モジュール１７１は、表示画像に被写体が含まれているか否かを判断する（ステップＳ１３）。ステップＳ１３において、表示モジュール１７１は、表示画像を画像認識し、被写体が表示画像に存在しているか否かを判断する。なお、ユーザ以外の人物や物品等が被写体であってもよい。
　ステップＳ１３において、表示モジュール１７１は、被写体が含まれていないと判断した場合（ステップＳ１３　ＮＯ）、全視野画像を画像認識し、被写体の位置を特定する（ステップＳ１４）。
　表示モジュール１７１は、特定した被写体の全体像が、自身の中央付近の位置に表示されるように、現在の表示画像をぐるっと回転させることにより、表示画像を変更する（ステップＳ１５）。ステップＳ１５において、ぐるっと回転させるとは、現在の表示画像を、被写体の全体像が中央付近に位置するように、表示画像を移動させることを意味する。なお、ステップＳ１５において、回転以外の方法、例えば、表示位置の移動により、表示画像を変更してもよい。また、他の方法により変更してもよい。
　表示モジュール１７１は、変更された表示画像において、この被写体に焦点を合わせる（ステップＳ１６）。なお、ステップＳ１６の処理は、省略されてもよい。
　一方、ステップＳ１３において、表示モジュール１７１は、被写体が含まれていると判断した場合（ステップＳ１３　ＹＥＳ）、この被写体に焦点を合わせる（ステップＳ１６）。なお、ステップＳ１６の処理は、省略されてもよい。
　検知モジュール１７２は、被写体の視線、動作、音声等の被写体情報を検知したか否かを判断する（ステップＳ１７）。なお、ステップＳ１７において、検知モジュール１７２は、この被写体情報の検知において、予め定められた閾値を超えている場合に、検知したと判断し、超えていない場合に、検知していないと判断してもよい。例えば、検知モジュール１７２は、視線や動作の移動量、音声の音量等に閾値を設定しておき、この閾値を超える移動量や音量である場合に、検知したと判断する構成であってもよい。また、閾値は、上述した種類以外の他の種類のものであってもよく、その種類及び量は、適宜変更可能である。
　ステップＳ１７において、被写体の視線を検知する場合について説明する。被写体の視線とは、被写体の視線の移動及びその移動量を示す。検知モジュール１７２は、画像認識した被写体において、目頭と虹彩との位置を特定する。検知モジュール１７２は、特定した目頭と虹彩との位置に基づいて、被写体の視線を検知する。また、検知モジュール１７２は、赤外線カメラと赤外線ＬＥＤとにより、角膜反射と瞳孔との位置を特定する。検知モジュール１７２は、特定した角膜反射と瞳孔との位置に基づいて、被写体の視線を検知する。なお、検知モジュール１７２は、他の方法により、被写体の視線を検知してもよい。
　また、ステップＳ１７において、被写体の動作を検知する場合について説明する。被写体の動作とは、被写体の身体の一部又は全部の特定の動きを意味する。検知モジュール１７２は、画像認識した被写体において、身体の一部又は全部の動きを特定する。身体の一部又は全部の動きとして、例えば、手を上に動かす、手を下に動かす、指を上に向ける、指を下に向ける、頭を上に向ける、頭を下に向ける、身体全体で後ろに振り向くといったものである。なお、動作は、上述した例に限らず他の動作であってもよいし、複数の動作を組み合わせたものであってもよい。
　また、ステップＳ１７において、被写体の音声を検知する場合について説明する。被写体の音声とは、被写体が発した声を示す。検知モジュール１７２は、マイク等の音声入力デバイスを介して入力された被写体の音声を音声認識し、音声を検知する。
　ステップＳ１７において、検知モジュール１７２は、被写体情報を検知していないと判断した場合（ステップＳ１７　ＮＯ）、本処理を繰り返す。
　一方、ステップＳ１７において、検知モジュール１７２は、被写体情報を検知したと判断した場合（ステップＳ１７　ＹＥＳ）、表示モジュール１７１は、被写体が自身の中央付近に表示されるように、表示画像を変更し、この被写体に焦点を変更して表示する（ステップＳ１８）。ステップＳ１８において、表示モジュール１７１は、表示画像の変更を、全視野画像の対応箇所を回転、移動等することにより実行する。回転とは、表示していた画像をある点を中心に、一方向に所定の角度移動させることを意味する。また、移動とは、表示していた画像を、所定の方向に動かすことを意味する。ステップＳ１８において、画面中央付近とは、画面の中央又は画面の中央近傍を示し、必ずしも、画面中心の位置である必要はない。なお、表示モジュール１７１は、変更画像において、被写体に焦点を合わせなくてもよい。
　ステップＳ１８において、検知モジュール１７２が被写体の視線を検知する場合について説明する。検知モジュール１７２は、ステップＳ１７において、被写体の視線を検知した場合、表示モジュール１７１は、この被写体の目の位置を、画面中央付近に合わせた変更画像を表示する。
　図５は、表示モジュール１７１が表示する変更画像を示す図である。図５において、表示モジュール１７１は、自身が表示可能な領域である画像表示領域の中央の位置に、被写体の目２００の位置を変更し、この被写体全体に焦点を合わせ、この被写体の目２００を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の目２００に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
　ステップＳ１８において、検知モジュール１７２が被写体の動作を検知する場合について説明する。検知モジュール１７２は、ステップＳ１７において、被写体の動作を検知した場合、表示モジュール１７１は、この被写体の動作箇所の位置を、画面中央付近に合わせた変更画像を表示する。
　図６は、表示モジュール１７１が表示する変更画像を示す図である。図６において、表示モジュール１７１は、画像表示領域の中央の位置に、被写体の手３００の位置を変更し、この被写体全体に焦点を合わせ、この被写体の手３００を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の手３００に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
　ステップＳ１８において、検知モジュール１７２が被写体の音声を検知する場合について説明する。検知モジュール１７２は、ステップＳ１７において、被写体の音声を検知した場合、表示モジュール１７１は、この被写体の口の位置を、画面中央付近に合わせた変更画像を表示する。
　図７は、表示モジュール１７１が表示する変更画像を示す図である。図７において、表示モジュール１７１は、画像表示領域の中央の位置に、被写体の口４００の位置を変更し、この被写体全体に焦点を合わせ、この被写体の口４００を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の口４００に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
　以上が、表示画像変更処理である。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　全天球カメラ表示画像変更システム、１００　情報端末

Claims (15)

  1. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
    　前記全天球カメラで撮像された被写体の視線を検知する視線検知手段と、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
    　を備えることを特徴とする全天球カメラ表示画像変更システム。
  2. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
    　前記全天球カメラで撮像された被写体の動作を検知する動作検知手段と、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
    　を備えることを特徴とする全天球カメラ表示画像変更システム。
  3. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
    　前記全天球カメラで撮像された被写体の音声を検知する音声検知手段と、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
    　を備えることを特徴とする全天球カメラ表示画像変更システム。
  4. 　前記変更された表示画像に映っている前記被写体に、前記全天球カメラの焦点を合わせる焦点変更手段と、
    　を備えることを特徴とする請求項１乃至３のいずれか一項に記載の全天球カメラ表示画像変更システム。
  5. 　前記表示画像変更手段は、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する、
    　ことを特徴とする請求項１乃至３のいずれか一項に記載の全天球カメラ表示画像変更システム。
  6. 　前記検知手段は、検知する値が閾値を超えた場合に、検知したと判断する、
    　ことを特徴とする請求項１乃至３のいずれか一項に記載の全天球カメラ表示画像変更システム。
  7. 　前記表示画像変更手段は、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
    　ことを特徴とする請求項１に記載の全天球カメラ表示画像変更システム。
  8. 　前記表示画像変更手段は、前記被写体の動作している箇所がディスプレイの中央付近に表示されるように表示画像を変更する、
    　ことを特徴とする請求項２に記載の全天球カメラ表示画像変更システム。
  9. 　前記表示画像変更手段は、前記被写体の口が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
    　ことを特徴とする請求項３に記載の全天球カメラ表示画像変更システム。
  10. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
    　前記全天球カメラで撮像された被写体の視線を検知するステップと、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
    　を備えることを特徴とする全天球カメラ表示画像変更方法。
  11. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
    　前記全天球カメラで撮像された被写体の動作を検知するステップと、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
    　を備えることを特徴とする全天球カメラ表示画像変更方法。
  12. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
    　前記全天球カメラで撮像された被写体の音声を検知するステップと、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
    　を備えることを特徴とする全天球カメラ表示画像変更方法。
  13. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
    　前記全天球カメラで撮像された被写体の視線を検知するステップ、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
    　を実行させることを特徴とするプログラム。
  14. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
    　前記全天球カメラで撮像された被写体の動作を検知するステップ、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
    　を実行させることを特徴とするプログラム。
  15. 　全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
    　前記全天球カメラで撮像された被写体の音声を検知するステップ、
    　前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
    　を実行させることを特徴とするプログラム。
PCT/JP2016/061847 2016-04-12 2016-04-12 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム WO2017179135A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/061847 WO2017179135A1 (ja) 2016-04-12 2016-04-12 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム
JP2018511806A JP6393854B2 (ja) 2016-04-12 2016-04-12 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム
US16/059,151 US10389947B2 (en) 2016-04-12 2018-08-09 Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/061847 WO2017179135A1 (ja) 2016-04-12 2016-04-12 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/059,151 Continuation-In-Part US10389947B2 (en) 2016-04-12 2018-08-09 Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program

Publications (1)

Publication Number Publication Date
WO2017179135A1 true WO2017179135A1 (ja) 2017-10-19

Family

ID=60041533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/061847 WO2017179135A1 (ja) 2016-04-12 2016-04-12 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム

Country Status (3)

Country Link
US (1) US10389947B2 (ja)
JP (1) JP6393854B2 (ja)
WO (1) WO2017179135A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244175B2 (en) 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
CN111953907B (zh) * 2020-08-28 2021-11-23 维沃移动通信有限公司 构图方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336508A (ja) * 2003-05-09 2004-11-25 Sony Ericsson Mobilecommunications Japan Inc 携帯情報処理装置およびその撮影制御方法、プログラム、並びに記録媒体
JP2013098965A (ja) * 2011-11-07 2013-05-20 Olympus Corp 撮像装置
JP2014220723A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP2016048856A (ja) * 2014-08-27 2016-04-07 株式会社リコー 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262789B2 (en) * 2002-01-23 2007-08-28 Tenebraex Corporation Method of creating a virtual window
JP5231285B2 (ja) * 2009-02-23 2013-07-10 オリンパスイメージング株式会社 撮像装置
JP2015230625A (ja) 2014-06-05 2015-12-21 キヤノン株式会社 画像表示装置
US9930270B2 (en) * 2015-10-15 2018-03-27 Microsoft Technology Licensing, Llc Methods and apparatuses for controlling video content displayed to a viewer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004336508A (ja) * 2003-05-09 2004-11-25 Sony Ericsson Mobilecommunications Japan Inc 携帯情報処理装置およびその撮影制御方法、プログラム、並びに記録媒体
JP2013098965A (ja) * 2011-11-07 2013-05-20 Olympus Corp 撮像装置
JP2014220723A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP2016048856A (ja) * 2014-08-27 2016-04-07 株式会社リコー 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Also Published As

Publication number Publication date
JP6393854B2 (ja) 2018-09-19
US20180352168A1 (en) 2018-12-06
JPWO2017179135A1 (ja) 2018-11-22
US10389947B2 (en) 2019-08-20

Similar Documents

Publication Publication Date Title
US20220004255A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US20210405761A1 (en) Augmented reality experiences with object manipulation
US20210407203A1 (en) Augmented reality experiences using speech and text captions
US9225934B2 (en) Head mounted display and method of video communication using the same
KR102184272B1 (ko) 글래스 타입 단말기 및 이의 제어방법
US9618747B2 (en) Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data
JP2016177658A (ja) 仮想入力装置、入力方法、およびプログラム
US11487354B2 (en) Information processing apparatus, information processing method, and program
WO2021147434A1 (zh) 基于人工智能的人脸识别方法、装置、设备及介质
KR102361025B1 (ko) 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
US20210407205A1 (en) Augmented reality eyewear with speech bubbles and translation
US10126813B2 (en) Omni-directional camera
US11675198B2 (en) Eyewear including virtual scene with 3D frames
US20230060453A1 (en) Electronic device and operation method thereof
KR102614047B1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치
JP6393854B2 (ja) 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム
KR20200040716A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
US20210406542A1 (en) Augmented reality eyewear with mood sharing
JP2017083916A (ja) ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
JP2016035625A (ja) 情報処理装置、情報処理方法、及びプログラム
Yeo et al. OmniSense: Exploring Novel Input Sensing and Interaction Techniques on Mobile Device with an Omni-Directional Camera
JP7078036B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018511806

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16898595

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 15.01.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16898595

Country of ref document: EP

Kind code of ref document: A1