WO2019138552A1 - 情報機器、及びカメラ画像共有システム - Google Patents

情報機器、及びカメラ画像共有システム Download PDF

Info

Publication number
WO2019138552A1
WO2019138552A1 PCT/JP2018/000713 JP2018000713W WO2019138552A1 WO 2019138552 A1 WO2019138552 A1 WO 2019138552A1 JP 2018000713 W JP2018000713 W JP 2018000713W WO 2019138552 A1 WO2019138552 A1 WO 2019138552A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
framing
information
information device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/000713
Other languages
English (en)
French (fr)
Inventor
吉澤　和彦
橋本　康宣
奥　万寿男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to PCT/JP2018/000713 priority Critical patent/WO2019138552A1/ja
Priority to CN201880086195.2A priority patent/CN111587570B/zh
Priority to US16/960,489 priority patent/US12081910B2/en
Priority to JP2019564246A priority patent/JP6886048B2/ja
Publication of WO2019138552A1 publication Critical patent/WO2019138552A1/ja
Anticipated expiration legal-status Critical
Priority to JP2021081702A priority patent/JP7144571B2/ja
Priority to US18/790,945 priority patent/US20240414286A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Definitions

  • the present invention relates to an information device with a camera and a display, and a camera image sharing system that shares images captured by a plurality of cameras.
  • An information device in which a wireless network function, a camera function, and a display function are integrated is widely used as an information device configured by a CPU (Central Processing Unit), a memory, and the like.
  • a CPU Central Processing Unit
  • a smartphone or tablet PC Personal Computer
  • SNS Social Network Service
  • Patent Document 1 handles a plurality of camera images hierarchically, the user cuts out a part of the image of the first layer, and the second layer is formed in the cut-out area. Discloses a method of displaying an image of (1) and combining and displaying a plurality of images.
  • Patent Document 1 in order for the user to cut out a part of the image of the first layer and display the image of the second layer in the cut-out area, it takes time and effort for operation for obtaining a composite image. This operation is cumbersome for the user, particularly when the number of camera images is large.
  • An object of the present invention is to provide an information device and a camera image sharing system in which selection of an image to be synthesized is easy without requiring a special user operation to synthesize a plurality of camera photographed images.
  • the present invention is connected to a camera image sharing service providing apparatus by communication means in an information device having a camera and a display, uploads a captured image of the camera and its feature amount, and also captures a captured image of another information device and its feature amount Download In addition, it connects to the auto framing service providing apparatus, and downloads a plurality of framing patterns for combining a plurality of photographed images.
  • the framing means of the information device calculates a feature amount of the captured image of the camera, and based on the calculated feature amount and the feature amounts of the downloaded captured image of the other information device, one framing pattern from a plurality of downloaded framing patterns To combine the photographed images of the camera and other information devices.
  • the captured image of the combined camera and other information devices is displayed on a display.
  • an information device and a camera image sharing system which do not require a special user operation to combine a plurality of camera-captured images and which can easily select an image to be combined.
  • FIG. 1 is a view showing an appearance of an information device according to a first embodiment. It is a block diagram showing composition of information equipment. It is a figure which shows the structure of the camera image sharing system comprised with an information apparatus and a service provision apparatus. It is a figure which shows the operation
  • FIG. 8 is a diagram showing an example of a user management database according to the second embodiment. It is a figure which shows the operation
  • FIG. 14 is a diagram showing a photographing operation flow of the information apparatus according to the third embodiment. It is a figure which shows the example (at the time of horizontal screen imaging
  • the present invention relates to an image sharing system including an information apparatus having a camera function and a camera image sharing service providing apparatus. Each apparatus will be described separately.
  • FIG. 1 is a view showing the appearance of the information device 1 according to the first embodiment, where (a) is a front view and (b) is a rear view.
  • the information device 1 is an information device in which a camera function and a display function are integrated, and corresponds to, for example, a smartphone or a tablet PC.
  • 1a is return button
  • 1b is home button
  • 1c is multitasking button
  • 2 is out camera
  • 2a is autofocus (AF) sensor
  • 2b / 2c is RGB sensor / LED flash
  • 3 is in (IN)
  • a camera 4 is a display integrated with a touch sensor
  • 4a is a light sensor
  • 5 is a receiver.
  • An external subject can be photographed by the out (OUT) camera 2 on the back side, and can be photographed by the in (IN) camera 3 on the front side (display 4 side).
  • the information device 1 will be simply referred to as a "camera”.
  • FIG. 2 is a block diagram showing the configuration of the information device (camera) 1.
  • the OUT camera 2 comprises an image sensor 201 and a camera processor 202.
  • the AF sensor 2a supports an autofocus function
  • the RGB sensor 2b supports an auto white balance function
  • the LED flash 2c supports a flash function in a dark shooting environment.
  • the RGB sensor 2b and the LED flash 2c are exclusively operable, and share one window on the back side where the OUT camera 2 is disposed as shown in FIG. 1 (b).
  • the IN camera 3 includes an image sensor 301 and a camera processor 302, and is disposed on the front as shown in FIG. 1A, and is used mainly for the user's self-shooting of the information device 1.
  • the light sensor 4a detects the ambient brightness to control the backlight of the display 4, and sets the display screen to be displayed to a brightness that is easy for the user to see.
  • the position sensor 108 acquires position information of the information device 1 by GPS (Global Positioning System).
  • the video processor 109 processes image data downloaded from the network and image data read out from the SDC (SD card) 105 b and sends the processed data to the graphic processor 110.
  • the graphic processor 110 converts, in addition to the image data, HTML (Hyper Text Markup Language) data and the like processed by the CPU 102 into graphic data and causes the display 4 to display the data.
  • HTML Hyper Text Markup Language
  • the mobile communication interface (IF) 101a covers communication methods such as 3G and LTE (Long Term Evolution), and together with the wireless LAN interface (IF) 101b, a wireless network function suitable for downloading large-capacity data such as image data I will provide a.
  • the wireless network may be of any other scheme.
  • the CPU 102, the random access memory (RAM) 103, and the flash ROM (FROM) 104 play a central role in the arithmetic operation and program execution of the information device 1.
  • the FROM 104 programs such as image and voice processing and an HTML browser are stored, expanded in the RAM 103 as necessary, and executed by the CPU 102. Images and HTML data are also temporarily stored in the RAM 103.
  • the FROM 104 stores programs of the camera sharing application 104a and the SNS application 104d, which are features of the present embodiment. These programs are also expanded in the RAM 103 and executed by the CPU 102.
  • the camera sharing application 104a defines an image communication process 104b that transmits and receives image data to and from the Internet 9 via the mobile communication IF 101a and the wireless LAN IF 101b, and auto framing that defines a framework for combining and displaying a plurality of camera images on the display 4 Process 104c is included.
  • the SDIF 105a can store various data in the SDC (SD card) 105b. For example, by storing the image data captured by the OUT camera 2 and the IN camera 3 in the SDC 105 b in addition to the FROM 104, a large capacity can be stored.
  • the USB IF 106 is an interface for connecting a USB device or receiving an external power supply.
  • the microphone 107a and the receiving speaker 5 are used for voice communication, and the speaker 107b is used for listening to music data.
  • FIG. 3 is a diagram showing the configuration of a camera image sharing system configured of a plurality of information devices 1 and a service providing device. It is assumed that a plurality of users 6 (A to F) who possess the information device (camera) 1 exist in a specific area 7 (for example, an event hall). Although it is assumed that each of the users A to F is registered in the camera image sharing service providing apparatus 13, the registration method is not limited. Each camera 1 uploads the captured image of the camera and the feature amount of the captured image to the camera image sharing service providing apparatus 13 via the Internet 9 each time the user 6 presses the shutter and shooting is performed. In the following, the case where the camera image sharing service providing apparatus 13 is used by focusing attention on the photographing operation of the user A is described.
  • Each camera 1 and the Internet 9 are connected by a mobile communication base station or an access point 8 of a wireless LAN.
  • the auto framing service providing apparatus 10 the camera image sharing service providing apparatus 13, and the SNS service providing apparatus 16 are connected to the Internet 9 (hereinafter, each “... Service providing apparatus” is simply referred to as “. Described as "service”.
  • the camera image sharing service 13 has a user management database (DB) 14 and an image storage 15 for storing photographed image data of the camera and its feature quantity.
  • the auto framing service 10 has a framing processing unit 11 and a framing table 12 in which the framing pattern generated by the framing processing unit 11 is described.
  • the framing pattern describes display rules such as the arrangement and size of each image when combining a plurality of camera images.
  • the auto framing service 10 is a service linked to the camera image sharing service 13.
  • the camera image sharing service 13 and the auto framing service 10 are provided to the users registered in the user management DB 14 of the camera image sharing service 13, and camera images taken by a plurality of users are shared. It has become a system that supports combining (auto framing processing) the plurality of images suitably.
  • FIG. 4A is a diagram showing an operation flow (S100) of the photographing process of the information device 1.
  • S100 an operation flow of the photographing process of the information device 1.
  • an image taken by the camera and an image of another camera to be combined with the image are selected and stored by the auto framing process.
  • the user activates the OUT camera 2 or the IN camera 3 of the information device (camera) 1 (S101).
  • the use of the OUT camera 2 is assumed for the purpose of sharing camera images of a plurality of cameras 1, but the IN camera 3 may be used.
  • various settings of the camera auto focus, auto white balance, auto exposure, auto flash, default value setting of the number of imaging pixels, etc.
  • S102 are automatically set.
  • the camera setting is completed, the camera starts shooting and displays the shot image on the display 4 (S103). However, at this point in time, the user has not pressed the shutter.
  • the user presses the camera image sharing service button (symbol 412 in FIG. 7A) to start the camera sharing application 104a and logs in to the camera image sharing service 13 (S104).
  • the auto framing service 10 is also started at the same time, a part of the framing table 12 is downloaded, and the saved framing table 12 a is updated in the camera 1 (S 105).
  • image data of another camera is downloaded from the camera image sharing service 13 (S106).
  • the image data of other cameras to be downloaded is limited to only cameras suitable for sharing. That is, the camera is limited to cameras existing around the camera using the position information acquired by the position sensor 108. For example, a camera at a position close to a total of eight directions including front, rear, left, right and diagonal based on the camera. Select Furthermore, the shooting time is limited to only the latest image data captured within a predetermined time, going back from the current time. The image data of these other cameras are downloaded together with the feature quantities of the image.
  • auto framing processing is performed by the auto framing process 104 c using the feature amounts of the image of the own camera and the images of the other cameras (S 108).
  • a framing pattern is used as a display rule, such as which camera image is to be displayed at what position on the display 4 and in which size, or when multiple images are displayed one on top of the other.
  • the graphic processor 110 creates a display screen in which the images of the own camera and another camera are combined, and displays the display screen on the display 4 (S109).
  • the auto framing process (S108) will be described in detail with reference to FIGS.
  • the user looks at the combined screen of a plurality of camera images displayed on the display 4, and selects another camera image to be combined with the own camera image (S110).
  • the photographing process is performed, and the photographed image of the own camera is stored in the storage medium such as SDC 105b (S111) ).
  • the selected other camera image is already downloaded and is not newly stored, but is linked to the image data of the own camera.
  • the image data taken by the camera and the feature amount thereof, and the information of the framing pattern based on the image selection in S110 are uploaded to the camera image sharing service 13 (S112). These uploaded data are also used when a user of another camera uses the camera image sharing service 13.
  • the user selects whether or not to continue shooting (S113), and when continuing, the process returns to S106, and the process is repeated from downloading of images of other cameras. In this way, as the position of the camera 1 moves and time passes, the images of the other cameras to be downloaded are updated as necessary. If already downloaded data is valid, it is not necessary to download duplicates.
  • FIG. 4B is a diagram showing an operation flow (S120) of the reproduction process of the information device 1.
  • the other camera image is combined with the photographed self-camera image, and is reproduced and displayed.
  • the play button reference numeral 415 in FIG. 7B
  • S121 the photographed and stored self-camera image and other camera images linked thereto are read from the storage medium (S122).
  • An auto framing process is performed on these read out images by the auto framing process 104 c (S 123), and the composite screen is reproduced and displayed on the display 4 (S 124). Also, information on the framing pattern selected at the time of synthesis is uploaded (S125).
  • the framing pattern is changed according to the user's instruction at the time of reproduction, for example, when an image other than the own camera image is preferentially displayed on the screen (S126), the auto framing process of S123 is performed. At S125, the information of the changed framing pattern is uploaded again.
  • FIG. 4C is a diagram showing an operation flow (S130) of the SNS process of the information device 1.
  • the photographed image and the comment are uploaded using the SNS (Social Network Service) service 16.
  • SNS Social Network Service
  • the reproduction screen can be easily uploaded to the SNS. That is, the screen on which the auto framing process (S123) and the reproduction display of the composite screen (S124) are performed can be uploaded as it is (FIGS. 7C and 7D described later).
  • S134 returns to S133 and uploads images, comments, etc. repeatedly.
  • FIG. 5 is a diagram showing an operation flow of the auto framing process (S140) of the information device 1, and corresponds to step S108 of FIG. 4A.
  • S140 auto framing process
  • auto framing processing (S140) is started.
  • the self-camera continues shooting, and the captured image is refreshed at, for example, several frames to several tens of frames per second.
  • An image of one frame is captured from among the images for which refreshing is continued (S141), and the feature amount is calculated on the captured image (S142).
  • the feature amount downloaded from the camera image sharing service 13 in S106 is used (S143).
  • FIG. 6 is a diagram showing an example of feature amounts of a camera image used for auto framing processing.
  • a self-camera image the number of persons, the size and position of a group of people, the size of a human face, whether or not the user is visible, the focus distance, the position and size of the object being focused, etc. is there.
  • the position of each camera in addition to these, the position of each camera (direction and distance from own camera), shooting time, etc. are added as feature amounts.
  • a framing pattern is selected from the framing table 12a stored by the own camera based on the feature amounts of the own camera and the other cameras (S144).
  • the method automatically selects a framing pattern having an index vector close to the index vector by a weighted distance from the framing table 12a using an index vector for search having a feature amount as an element.
  • the framing table 12a is updated at S105 when the camera image sharing service 13 is started.
  • the graphic processor 110 creates a display screen in which the images of a plurality of cameras including the own camera are synthesized (S145). The created composite screen is displayed on the display 4.
  • FIG. 7A to 7F are examples of display screens of the information device (camera) 1.
  • a display screen of the camera 1 owned by the user A is shown.
  • FIG. 7A shows a display screen in the photographed image display state (S103) of FIG. 4A.
  • the display 4 of the camera 1 displays a photographed image 41 of the camera of the user A, a user mark 411 indicating that the user is A, a camera image sharing service button 412, a shutter button 413, and a setting button 414.
  • the user A presses the camera image sharing service button 412 to start login to the camera image sharing service 13.
  • FIG. 7B shows the display state (S109) of the combined screen by the auto framing processing (S108) of FIG. 4A.
  • the photographed image 41 of the user A's camera the photographed image 42 of the user B's camera, the photographed image 43 of the user C's camera, the photographed image 44 of the user D's camera, the photographed image 45 of the user E's camera, the user F A photographed image 46 of the camera of is displayed.
  • the photographed images of these cameras are downloaded from the camera image sharing service 13 (S106 in FIG. 4A), and while the photographed image 41 of the camera A is an image at the current time, the other photographed images are slightly The shutter is pressed at the previous time and uploaded to the camera image sharing service 13.
  • the respective user marks 421, 431, 441, 451, and 461 are displayed on each photographed image. Furthermore, selection buttons 422, 432, 442, 452, and 462 are displayed in each of the photographed images to select whether or not to associate the photographed image 41 of the user A (S110).
  • the photographed image 41 of the user A and the photographed images 42 to 46 of the other users B to F in the same event can be viewed together, and the sense of reality of the event can be transmitted in an easy-to-understand manner Can.
  • the photographed image 42 of the user B and the photographed image 43 of the user C are selected (linked) for combining, and when the user A presses the shutter button 413, the photographed image 41 of A is displayed.
  • the feature amount is stored in the storage medium, and the captured image 42 of B, the captured image 43 of C, and the respective feature amounts are linked and stored (S111).
  • FIG. 7C shows the display state (S124) of the combined screen by the auto framing processing (S123) at the time of reproduction in FIG. 4B.
  • the auto framing process (S123) is performed on the photographed image 41 of the user A, the photographed image 42 of the user B linked to this, and the photographed image 43 of the user C.
  • the photographed image 41 of the user A is displayed on the front in preference to other images.
  • the SNS button 401 is pressed, the SNS application 104d is activated, and this screen can be uploaded.
  • FIG. 7D shows the case where the framing pattern is changed in the state of FIG. 7C.
  • it is a display screen after the user A taps the photographed image 42 of the user B, gives priority to the photographed image 42 of B, and executes the auto framing process again.
  • the OUT camera of the user (user A) shoots the surroundings of the user, but does not necessarily shoot the user.
  • another person's camera may be photographing itself (user A).
  • the user A is in the photographed image 42 of B, and the user A taps the photographed image 42 of B to enlarge the photographed image 42 of B in which the user A is photographed. Is displayed on the front.
  • FIG. 7E shows another case where the framing pattern is changed in the state of FIG. 7C.
  • the photographed image 41 of the user A is tapped and enlarged and displayed on the entire screen.
  • the display screens of FIGS. 7C to 7E can all be uploaded to the SNS service 16.
  • the situation of the event site is communicated to other SNS users as a realistic image. Can.
  • FIG. 7F shows an example of a composite screen different from FIG. 7B.
  • the images of the overlapping portions are obliquely cut and combined.
  • the boundaries between the respective images are displayed uniformly, so that the region where the images overlap and disappear can not be biased to a specific image.
  • an information device and an image sharing system in which selection of camera images to be synthesized is easy without requiring a special user operation. Can be provided. Furthermore, while being able to confirm the situation of a plurality of cameras at a glance by an event etc., it becomes possible to upload the screen which compounded a plurality of camera images to SNS, and to share a realistic image among users.
  • FIG. 8 is a view showing an example of the user management database (DB) 14 of the camera image sharing service providing apparatus 13.
  • the users registered in the user management DB 14 form a user group whose group name is “event T” in order to share or exchange camera images in advance.
  • N users including "Sakura" are registered, and data of their user nickname, mobile number, IP address, password, and mail address are described.
  • the information devices (cameras) used by these users need not be specific ones, and any information devices having a camera function and a display function can be used.
  • the user can log in to the camera image sharing service 13 by entering an e-mail address and a password, and receive the provision of the service.
  • FIG. 9 is a diagram showing an operation flow of the framing processing unit 11 in the auto framing service providing apparatus 10.
  • the framing process S200
  • the feature quantities of the camera image of the user are collected, and the index vectors are determined using the feature quantities of a plurality of camera images grouped (linked) as elements.
  • a framing pattern suitable for combining and displaying a plurality of camera images is determined, and is registered in the framing table 12 in association with the index vector.
  • the image data and the feature amount are uploaded and received from the camera 1 (S201)
  • updating of the framing table 12 is started (S202).
  • the uploaded feature amount is registered in the camera feature amount database 11a (S203).
  • cameras (user B, C, D, E, F) located around the camera of user A in FIG. 3 are searched from the position information of the uploaded camera, and their feature values are The feature amount database 11a is read out (S204).
  • framing pattern candidates are created using the read out feature amount (S205).
  • the framing pattern is a display rule (such as arrangement and size) when combining each camera image, and is created based on the evaluation index of the framing pattern shown in FIG. 10 (S206). If the created candidate satisfies the evaluation index, it is additionally registered in the framing table 12 (S207), and the process is ended (S208). If the created candidate does not satisfy the evaluation index, the process returns to S205, the framing pattern candidate is corrected and re-created, and the evaluation is repeated.
  • FIG. 10 is a diagram showing an example of the evaluation index of the framing pattern.
  • the blank area where no camera image is displayed on the display 4 is made as small as possible, and the size is such that the central subject (for example, a person) appearing in each camera image is easily visible (for that reason, the camera Image enlargement / reduction, trimming is performed).
  • the display according to the distance is made, specifically, the camera image close to the camera of A is relatively large and far camera image Is required to be displayed small. By satisfying these, it is possible to create a composite screen that reproduces the realism of the event venue.
  • the information device 1 reduces the user operation for image composition. Further, the information device 1 can be reduced in size and weight.
  • the information camera 1 handles the OUT camera 2 and the IN camera 3 at the same time, and performs an auto framing process on those images.
  • the configuration of the information apparatus 1 (camera) is the same as the configuration shown in the first embodiment (FIG. 2), and the auto framing processing of the images of the OUT camera 2 and IN camera 3 is executed by the auto framing process 104 c stored in the FROM 104 Do.
  • FIG. 11 is a diagram showing the imaging operation flow of the information device 1 in the third embodiment.
  • the steps having the same functions as those in the operation flow (S100) of the first embodiment (FIG. 4A) are assigned the same numbers, and the steps different from the operation flow in FIG. 4A will be mainly described.
  • the OUT camera 2 and the IN camera 3 are set (S102a).
  • the feature amounts of the camera images of the OUT camera 2 and the IN camera 3 are calculated, and in the auto framing process (S108a), two camera images of the OUT camera 2 and the IN camera 3 are targeted I assume.
  • the information device 1 includes a camera other than the OUT camera 2 and the IN camera 3, all camera images may be targeted.
  • a screen obtained by combining the camera images of the OUT camera 2 and the IN camera 3 is displayed (S109). The user selects an image to be photographed from among them (S110a), and carries out photographing and storage (shutter pressing) (S111).
  • the camera image sharing service 13 can be used, and the path is indicated by a broken line.
  • Login is performed at an arbitrary timing (S104), the framing table 12 and camera images of other users are downloaded (S106), and auto framing processing (S108) is performed. This is photographed and stored, and camera image data, feature quantities, and further, a selected frame pattern are uploaded (S112).
  • the reproduction process and the SNS process are the same as the operation flow of the first embodiment (FIGS. 4B and 4C).
  • 12 to 14 show examples of display screens of the information device (camera) 1.
  • 12A and 12B show the display state of the composite screen at the time of shooting, and correspond to step S109 in FIG.
  • a framing pattern is used in which camera shooting is performed on the horizontal screen, and the image 48 of the OUT camera 2 and the image 47 of the IN camera 3 are arranged side by side in the horizontal direction (S108a).
  • the selection button 482 is checked, and the image 48 of the OUT camera 2 is selected.
  • a framing pattern is used in which a camera image is captured on the vertical screen, and the image 48 of the OUT camera 2 and the image 47 of the IN camera 3 are displayed side by side in the vertical direction.
  • the selection buttons 482 and 472 are checked, and both the image 48 of the OUT camera 2 and the image 47 of the IN camera 3 are selected.
  • the shutter button 413 is pressed in this state (S111)
  • the images of both the OUT camera 2 and the IN camera 3 are shot and stored at the same time.
  • FIGS. 13A to 13C are diagrams showing a method of selecting a camera image to be synthesized.
  • the camera image is selected not by the selection button but by the shutter button 413, and the shutter button 413 is moved (dragged) to the position of the camera image to be selected.
  • FIG. 13A shows that the shutter button 413 is moved onto the image 47 of the IN camera 3 and the outer frame of the image 47 is highlighted and selected by a thick line.
  • the shutter button 413 is moved onto the image 48 of the OUT camera 2 to indicate that the image 48 is highlighted and selected.
  • FIG. 13C the shutter button 413 is moved on the boundary between the image 48 and the image 47, the image 48 and the image 47 are highlighted, and the images of both the OUT camera 2 and the IN camera 3 are selected.
  • a simple operation method of selecting an image to be shot and stored by the shutter button 413 is adopted. Furthermore, if the shutter button 413 is moved (dragged) so that the shutter is released when the finger is released from the shutter button 413, an operation of selecting a camera image and an operation of releasing the shutter are a series of user operations. It becomes possible, and the usability is further improved.
  • FIG. 14A and FIG. 14B show a state in which a photographed and stored camera image is reproduced and displayed.
  • the operation flow at the time of reproduction in FIG. 4B corresponds to the display of the combined screen (S124) after the auto framing processing (S123).
  • the subject near the center of the camera image is displayed in close-up.
  • FIG. 14A a framing pattern that equally treats the image 48 of the OUT camera 2 and the image 47 of the IN camera 3 is applied, whereas in FIG. 14B, the image 48 of the OUT camera 2 is mainly used.
  • the framing pattern to be displayed is applied.
  • the third embodiment it is possible to easily select a camera to be photographed without requiring a special user operation to obtain a display screen obtained by combining images of the OUT camera and the IN camera, and a camera image A shared system can be provided. Furthermore, it is also possible to provide a GUI (Graphical User Interface) in which the camera image selection operation and the shutter operation are seamless.
  • GUI Graphic User Interface
  • the functions and the like of the invention may be implemented by hardware, for example, by designing part or all of them with an integrated circuit.
  • the program may be implemented by software by a microprocessor unit, a CPU or the like interpreting and executing an operation program for realizing each function and the like.
  • the implementation range of software is not limited, and hardware and software may be used in combination.
  • 1 Information equipment (camera), 2: OUT camera, 3: IN camera, 4: Display, 9: Internet, 10: Auto framing service providing device, 11: Framing processing unit, 12: Framing table, 13: Camera image sharing Service providing device 14: user management DB 15: image storage 16: SNS service providing device 101a: mobile communication IF 101b: wireless LAN IF 102: CPU 103: RAM 104: FROM 104a: camera sharing application , 104b: image communication process, 104c: auto framing process, 104d: SNS application, 105b: SDC, 108: position sensor, 109: video processor, 110: graphic processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

カメラとディスプレイを有する情報機器において、通信手段によりカメラ画像共有サービス提供装置に接続し、カメラの撮影画像とその特徴量をアップロードするとともに、他の情報機器の撮影画像とその特徴量をダウンロードする。また、オートフレーミングサービス提供装置に接続し、複数の撮影画像を合成するための複数のフレーミングパターンをダウンロードする。情報機器のフレーミング手段は、カメラの撮影画像の特徴量を算出し、算出した特徴量とダウンロードした他の情報機器の撮影画像の特徴量に基づいて、ダウンロードした複数のフレーミングパターンから１つのフレーミングパターンを選択して、前記カメラと他の情報機器の撮影画像を合成する。合成した前記カメラと他の情報機器の撮影画像をディスプレイに表示する。

Description

情報機器、及びカメラ画像共有システム
　本発明は、カメラとディスプレイ付きの情報機器、及び複数のカメラの撮影画像を共有するカメラ画像共有システムに関する。
　ＣＰＵ（Central Processing Unit）とメモリ等で構成される情報機器に、無線ネットワーク機能、カメラ機能、ディスプレイ機能を一体化した情報機器が広く利用されている。具体的には、スマートフォン、タブレットＰＣ（Personal Computer）により、いつでもどこでもカメラで撮影し、撮影した画像をネットワーク経由でＳＮＳ（Social Network Service）でシェアできる。さらにアウトカメラに加え、自撮り用のインカメラを備えた情報機器もある。
　複数のカメラで撮影した画像を合成する方法として、特許文献１には、複数のカメラ画像を階層的に取り扱い、ユーザが第一階層の画像の一部を切り抜き、切り抜かれた領域に第二階層の画像を表示し、複数の画像を合成して表示させる方法が開示されている。
特開２０１４－０５７２５８号公報
　特許文献１では、ユーザが第一階層の画像の一部を切り抜き、切り抜かれた領域に第二階層の画像を表示させるため、合成画像を得るための操作に手間と時間が必要となる。特にカメラ画像の数が多い場合には、ユーザにとってこの操作は煩わしいものとなる。
　本発明の目的は、複数のカメラ撮影画像を合成するのに特別なユーザ操作が必要なく、合成する画像の選択が容易である情報機器、及びカメラ画像共有システムを提供することにある。
　本発明は、カメラとディスプレイを有する情報機器において、通信手段によりカメラ画像共有サービス提供装置に接続し、カメラの撮影画像とその特徴量をアップロードするとともに、他の情報機器の撮影画像とその特徴量をダウンロードする。また、オートフレーミングサービス提供装置に接続し、複数の撮影画像を合成するための複数のフレーミングパターンをダウンロードする。情報機器のフレーミング手段は、カメラの撮影画像の特徴量を算出し、算出した特徴量とダウンロードした他の情報機器の撮影画像の特徴量に基づいて、ダウンロードした複数のフレーミングパターンから１つのフレーミングパターンを選択して、前記カメラと他の情報機器の撮影画像を合成する。合成した前記カメラと他の情報機器の撮影画像をディスプレイに表示する。
　本発明によれば、複数のカメラ撮影画像を合成するのに特別なユーザ操作が必要なく、合成する画像の選択が容易な情報機器、及びカメラ画像共有システムを提供することができる。
実施例１に係る情報機器の外観を示す図である。 情報機器の構成を示すブロック図である。 情報機器とサービス提供装置で構成されるカメラ画像共有システムの構成を示す図である。 情報機器の撮影処理の動作フローを示す図である。 情報機器の再生処理の動作フローを示す図である。 情報機器のＳＮＳ処理の動作フローを示す図である。 情報機器のオートフレーミング処理の動作フローを示す図である。 オートフレーミング処理に用いるカメラ画像の特徴量の例を示す図である。 情報機器の表示画面の例（撮影時）を示す図である。 情報機器の表示画面の例（オートフレーミング処理）を示す図である。 情報機器の表示画面の例（再生時）を示す図である。 情報機器の表示画面の例（フレーミングパターン変更）を示す図である。 情報機器の表示画面の例（フレーミングパターン変更）を示す図である。 情報機器の表示画面の例（異なる合成画面）を示す図である。 実施例２に係るユーザ管理データベースの例を示す図である。 オートフレーミングサービス提供装置の動作フローを示す図である。 フレーミングパターンの評価指標値の例を示す図である。 実施例３に係る情報機器の撮影動作フローを示す図である。 情報機器の表示画面の例（横画面撮影時）を示す図である。 情報機器の表示画面の例（縦画面撮影時）を示す図である。 情報機器の表示画面の例（画像の選択方法）を示す図である。 情報機器の表示画面の例（画像の選択方法）を示す図である。 情報機器の表示画面の例（画像の選択方法）を示す図である。 情報機器の表示画面の例（再生時）を示す図である。 情報機器の表示画面の例（再生時）を示す図である。
　以下、本発明の実施形態を図面を参照しながら説明する。本発明は、カメラ機能を有する情報機器とカメラ画像共有サービス提供装置を含む画像共有システムに関するものであるが、各装置について分けて説明する。
　実施例１では、カメラとディスプレイを有する情報機器について説明する。
  図１は、実施例１に係る情報機器１の外観を示す図で、（ａ）は前面図、（ｂ）は背面図である。情報機器１は、カメラ機能とディスプレイ機能を一体化した情報機器であって、例えば、スマートフォン、タブレットＰＣなどが相当する。その構成は、１ａはリターン釦、１ｂはホーム釦、１ｃはマルチタスク釦、２はアウト（ＯＵＴ）カメラ、２ａはオートフォーカス（ＡＦ）センサ、２ｂ／２ｃはＲＧＢセンサ／ＬＥＤフラッシュ、３はイン（ＩＮ）カメラ、４はタッチセンサ一体型のディスプレイ、４ａは光センサ、５は受話口である。背面側にあるアウト（ＯＵＴ）カメラ２では外部の被写体を撮影し、前面側（ディスプレイ４側）にあるイン（ＩＮ）カメラ３では自撮りすることができる。以下、情報機器１のことを単に「カメラ」とも呼ぶことにする。
　図２は、情報機器（カメラ）１の構成を示すブロック図である。ＯＵＴカメラ２は、イメージセンサ２０１とカメラプロセッサ２０２から成る。ＯＵＴカメラ２での撮影に際し、ＡＦセンサ２ａはオートフォーカス機能を、ＲＧＢセンサ２ｂはオートホワイトバランス機能を、ＬＥＤフラッシュ２ｃは暗い撮影環境でのフラッシュ機能をサポートする。ＲＧＢセンサ２ｂとＬＥＤフラッシュ２ｃは、排他的に動作可能であり、図１（ｂ）で示すように、ＯＵＴカメラ２が配置される背面の１つの窓を共有している。またＩＮカメラ３は、イメージセンサ３０１とカメラプロセッサ３０２から成り、図１（ａ）に示すように前面に配置され、情報機器１のユーザの自撮りを主な目的として使用される。
　光センサ４ａは、周囲の明るさを検知してディスプレイ４のバックライトを制御し、写し出す表示画面をユーザにとって見えやすい明るさに設定する。位置センサ１０８は、ＧＰＳ（Global Positioning System）により情報機器１の位置情報を取得する。
　ビデオプロセッサ１０９は、ネットワークからダウンロードする画像データやＳＤＣ（ＳＤカード）１０５ｂから読み出す画像データを処理して、グラフィックプロセッサ１１０に送る。グラフィックプロセッサ１１０は、これら画像データのほか、ＣＰＵ１０２で処理するＨＴＭＬ（Hyper Text Markup Language）データ等をグラフィックデータに変換して、ディスプレイ４に表示させる。
　モバイル通信インタフェース（ＩＦ）１０１ａは、３ＧやＬＴＥ（Long Term Evolution）といった通信方式をカバーし、無線ＬＡＮインタフェース（ＩＦ）１０１ｂとともに、画像データ等の大容量データをダウンロードするのに好適な無線ネットワーク機能を提供する。無線ネットワークとしては、これら以外の方式のものであってもよい。
　ＣＰＵ１０２、ＲＡＭ（Random Access Memory）１０３、ＦＲＯＭ（Flash ROM）１０４は、情報機器１の中心的な演算及びプログラム実行の役割を担っている。ＦＲＯＭ１０４には、画像及び音声の処理やＨＴＭＬブラウザなどのプログラムが格納され、必要に応じてＲＡＭ１０３に展開し、ＣＰＵ１０２で実行する。ＲＡＭ１０３には、一時的に画像及びＨＴＭＬのテータも蓄えられる。
　特にＦＲＯＭ１０４には、本実施例の特徴であるカメラ共有アプリ１０４ａやＳＮＳアプリ１０４ｄのプログラムが格納される。これらのプログラムもまた、ＲＡＭ１０３に展開され、ＣＰＵ１０２で実行される。ここにカメラ共有アプリ１０４ａは、モバイル通信ＩＦ１０１ａや無線ＬＡＮＩＦ１０１ｂを介しインターネット９との間で画像データを送受信する画像通信プロセス１０４ｂと、ディスプレイ４に複数のカメラ画像を合成表示する枠組みを定義するオートフレーミングプロセス１０４ｃを含む。
　ＳＤＩＦ１０５ａはＳＤＣ（ＳＤカード）１０５ｂに、様々なデータを格納することができる。例えば、前記ＯＵＴカメラ２やＩＮカメラ３で撮影した画像データを、ＦＲＯＭ１０４の他、ＳＤＣ１０５ｂに蓄えることにより大容量の蓄積が可能となる。ＵＳＢＩＦ１０６は、ＵＳＢデバイスを接続したり、外部から電源供給を受けたりするインタフェースである。
　マイクロフォン１０７ａ、受話スピーカ５は音声通話に用いられ、スピーカ１０７ｂは、音楽データを聞くのに用いられる。
　図３は、複数の情報機器１とサービス提供装置で構成されるカメラ画像共有システムの構成を示す図である。ある特定のエリア７（例えばイベント会場）に、情報機器（カメラ）１を所持した複数のユーザ６（Ａ～Ｆ）が存在している状態を想定する。各ユーザＡ～Ｆは、カメラ画像共有サービス提供装置１３に登録されていることを前提としているが、登録方法は限定されるものではない。各カメラ１は、それぞれのユーザ６がシャッタを押し撮影が行われる毎に、インターネット９経由でカメラ画像共有サービス提供装置１３にカメラの撮影画像と該撮影画像の特徴量をアップロードする。以降では、ユーザＡの撮影動作に注目して、カメラ画像共有サービス提供装置１３を利用する場合を説明している。
　各カメラ１とインターネット９は、モバイル通信の基地局あるいは無線ＬＡＮのアクセスポイント８で接続される。また、インターネット９には、オートフレーミングサービス提供装置１０、カメラ画像共有サービス提供装置１３、ＳＮＳサービス提供装置１６が接続されている（以下、各「・・・サービス提供装置」を単に「・・・サービス」と記す）。
　カメラ画像共有サービス１３は、ユーザ管理データベース（ＤＢ）１４と、カメラの撮影画像データやその特徴量を格納する画像ストレージ１５を有する。オートフレーミングサービス１０は、フレーミング処理部１１と、フレーミング処理部１１で生成したフレーミングパターンを記述したフレーミングテーブル１２を有する。ここにフレーミングパターンとは、複数のカメラ画像を合成する際の各画像の配置や大きさなどの表示ルールを記述したものである。オートフレーミングサービス１０は、カメラ画像共有サービス１３に連動したサービスとする。本例では、カメラ画像共有サービス１３が有するユーザ管理ＤＢ１４に登録されたユーザに対して、カメラ画像共有サービス１３とオートフレーミングサービス１０の提供を行い、複数のユーザが撮影したカメラ画像を共有し、これら複数の画像を好適に合成（オートフレーミング処理）することをサポートするシステムとなっている。
　次に、情報機器（カメラ）１の撮影／再生／ＳＮＳの動作フローを、それぞれ図４Ａ～４Ｃに分けて説明する。
  図４Ａは、情報機器１の撮影処理の動作フロー（Ｓ１００）を示す図である。この処理では、オートフレーミング処理により、自カメラの撮影画像とこれに合成する他カメラの画像を選択して保存する。
　ユーザは情報機器（カメラ）１のＯＵＴカメラ２もしくはＩＮカメラ３を起動する（Ｓ１０１）。本実施例では、複数のカメラ１のカメラ画像を共有するという目的で、ＯＵＴカメラ２の利用を想定しているが、ＩＮカメラ３であってもよい。カメラが起動されると、カメラの各種設定（オートフォーカス、オートホワイトバランス、自動露光、オートフラッシュ、撮像ピクセル数のデフォルト値設定など）を自動的に設定する（Ｓ１０２）。もちろん、一部を手動で設定してもよい。カメラ設定が終わると、カメラは撮影を開始し、撮影した画像をディスプレイ４に表示する（Ｓ１０３）。ただし、この時点ではユーザはシャッタを押していない状態である。
　次にユーザは、カメラ画像共有サービス釦（図７Ａの符号４１２）を押してカメラ共有アプリ１０４ａを起動し、カメラ画像共有サービス１３にログインする（Ｓ１０４）。この時、オートフレーミングサービス１０も同時に開始し、フレーミングテーブル１２の一部をダウンロードし、カメラ１にて保存済みのフレーミングテーブル１２ａを更新する（Ｓ１０５）。
　続いて、他カメラの画像データをカメラ画像共有サービス１３からダウンロードする（Ｓ１０６）。ダウンロードする他カメラの画像データは、共有するのに適したカメラのみに制限する。すなわち、位置センサ１０８で取得した位置情報を用いて自カメラの周辺に存在するカメラに限定し、例えば、自カメラを基準に前後、左右、斜めの合計８方向に対して、近い位置にあるカメラを選定する。さらに、撮影時刻については、現在時刻から遡って所定時間以内に撮影された最新の画像データのみに限定する。これらの他カメラの画像データは、その画像の特徴量とともにダウンロードされる。
　また、自カメラの撮影画像について、撮影画像に写っている人物の有無、人数、人物もしくは塊のある物体の大きさ、それらの画像内の位置などの特徴量を算出する（Ｓ１０７）。
　次に、自カメラの画像と他カメラの画像の特徴量を用いて、オートフレーミングプロセス１０４ｃによりオートフレーミング処理を行う（Ｓ１０８）。この処理では、どのカメラの画像をディスプレイ４のどの位置にどの程度の大きさで表示するか、複数の画像の表示が重なる場合どちらの画像を前面に表示するかなどの表示ルールとなるフレーミングパターンを自動で決定する。決定されたフレーミングパターンに従いグラフィックプロセッサ１１０は、自カメラと他カメラの画像を合成した表示画面を作成し、ディスプレイ４に表示する（Ｓ１０９）。オートフレーミング処理（Ｓ１０８）については、図５、図６を用いて詳細に説明する。
　ユーザは、ディスプレイ４に表示された複数カメラ画像の合成画面を見て、自カメラ画像と合成したい他カメラ画像を選択する（Ｓ１１０）。他カメラ画像を選択した後、ユーザがカメラ１のシャッタ釦（図７Ａ，７Ｂの符号４１３）を押すと撮影処理が行われ、自カメラの撮影画像はＳＤＣ１０５ｂなどのストレージ媒体に保存される（Ｓ１１１）。この時、選択された他カメラ画像は既にダウンロードされているものであり、新たに保存されることはないが、自カメラの画像データに紐付けされる。さらに、シャッタが押されたタイミングで、自カメラで撮影した画像データとその特徴量、及びＳ１１０での画像選択に基づくフレーミングパターンの情報が、カメラ画像共有サービス１３にアップロードされる（Ｓ１１２）。これらのアップロードされたデータは、他カメラのユーザがカメラ画像共有サービス１３を利用する時にも使用される。
　ユーザは撮影を継続するか否かを選択し（Ｓ１１３）、継続するときはＳ１０６に戻り、他カメラの画像のダウンロードから繰り返し行う。このようにして、カメラ１の位置の移動、時間の経過により、ダウンロードすべき他カメラの画像を必要に応じて更新する。なお、既にダウンロード済みのデータが有効であれば、重複してダウンロードする必要はない。
　図４Ｂは、情報機器１の再生処理の動作フロー（Ｓ１２０）を示す図である。この処理では、撮影した自カメラ画像に他カメラ画像を合成して再生表示する。ユーザが再生釦（図７Ｂの符号４１５）を押すと（Ｓ１２１）、撮影して保存済みの自カメラ画像と、これに紐付けられた他カメラ画像がストレージ媒体から読み出される（Ｓ１２２）。これら読み出された画像に対してオートフレーミングプロセス１０４ｃによりオートフレーミング処理を行い（Ｓ１２３）、その合成画面がディスプレイ４に再生表示される（Ｓ１２４）。また、合成時に選択されたフレーミングパターンの情報がアップロードされる（Ｓ１２５）。
　なお再生時において、ユーザの指示でフレーミングパターンを変更したとき、例えば、自カメラ画像以外の画像を優先して画面最前面に表示させたような場合には（Ｓ１２６）、Ｓ１２３のオートフレーミング処理に戻り、Ｓ１２５にて、変更されたフレーミングパターンの情報が再度アップロードされる。
　図４Ｃは、情報機器１のＳＮＳ処理の動作フロー（Ｓ１３０）を示す図である。ここでは、ＳＮＳ（Social Network Service）サービス１６を利用して撮影画像やコメントをアップロードする。
　ユーザは、ＳＮＳ釦（図７Ｃなどの符号４０１）を押してＳＮＳアプリ１０４ｄを起動し（Ｓ１３１）、ＳＮＳサービス１６にログインする（Ｓ１３２）。そしてカメラ画像やコメントなどのアップロードを行う（Ｓ１３３）。なお、前記したカメラ画像の再生処理（図４Ｂ）からＳＮＳ処理に移行させる場合には、再生画面をＳＮＳに容易にアップロードすることができる。つまり、オートフレーミング処理（Ｓ１２３）と、合成画面の再生表示（Ｓ１２４）が行われた画面を、そのままアップロードすることができる（後述する図７Ｃ、図７Ｄ）。ＳＮＳを継続する場合は（Ｓ１３４）、Ｓ１３３に戻り画像やコメントなどのアップロードを繰り返して行う。
　図５は、情報機器１のオートフレーミング処理（Ｓ１４０）の動作フローを示す図であり、図４ＡのステップＳ１０８に対応する。ただしここでは、Ｓ１０８での処理に限定せず、オートフレーミング処理の基本的な説明を行う。
　カメラ画像共有サービス１３へのログインとともに、オートフレーミング処理（Ｓ１４０）を開始する。自カメラは撮影を継続しており、撮影画像は例えば毎秒数コマから数十コマ程度でリフレッシュされている。リフレッシュが継続される画像の中から１コマの画像をキャプチャして（Ｓ１４１）、キャプチャした画像に対して特徴量の算出を行う（Ｓ１４２）。また他カメラに対しては、Ｓ１０６にてカメラ画像共有サービス１３からダウンロードした特徴量を用いる（Ｓ１４３）。
　図６は、オートフレーミング処理に用いるカメラ画像の特徴量の例を示す図である。自カメラ画像の場合、写っている人数、人群の塊の大きさと位置、人の顔の大きさ、ユーザ自身が写っているか否か、フォーカス距離、フォーカスしている物体の位置と大きさなどである。一方他カメラ画像では、これらに加え、各々のカメラの位置（自カメラからの方角と距離）、撮影時刻などを特徴量として追加する。
　次に、自カメラ及び他カメラの特徴量に基づいて、自カメラが保存しているフレーミングテーブル１２ａからフレーミングパターンを選択する（Ｓ１４４）。その手法は、特徴量を要素とする検索用のインデックスベクトルを用いて、該インデックスベクトルに重み付け距離で近いインデックススベクトルを持つフレーミングパターンを、フレーミングテーブル１２ａから自動的に選択する。なお、フレーミングテーブル１２ａは、カメラ画像共有サービス１３を開始するとＳ１０５にて更新されている。選択されたフレーミングパターンを用いて、グラフィックプロセッサ１１０は、自カメラを含む複数カメラの画像を合成した表示画面を作成する（Ｓ１４５）。作成した合成画面は、ディスプレイ４に表示される。
　図７Ａ～図７Ｆは、情報機器（カメラ）１の表示画面の例である。ここでは、ユーザＡの所持するカメラ１における表示画面を示す。
  図７Ａは、図４Ａの撮影画像表示状態（Ｓ１０３）での表示画面を示す。カメラ１のディスプレイ４には、ユーザＡのカメラの撮影画像４１と、ユーザがＡであることを示すユーザマーク４１１、カメラ画像共有サービス釦４１２、シャッタ釦４１３、設定釦４１４が表示されている。ユーザＡは、カメラ画像共有サービス釦４１２を押すことで、カメラ画像共有サービス１３へのログインを開始する。
　図７Ｂは、図４Ａのオートフレーミング処理（Ｓ１０８）による合成画面の表示状態（Ｓ１０９）を示す。ユーザＡのカメラの撮影画像４１の他に、ユーザＢのカメラの撮影画像４２、ユーザＣのカメラの撮影画像４３、ユーザＤのカメラの撮影画像４４、ユーザＥのカメラの撮影画像４５、ユーザＦのカメラの撮影画像４６が表示されている。これらのカメラの撮影画像は、カメラ画像共有サービス１３からダウンロードしたものであり（図４ＡのＳ１０６）、カメラＡの撮影画像４１が現時刻の画像であるのに対して、他の撮影画像は少し前の時刻にシャッタが押され、カメラ画像共有サービス１３にアップロードされたものである。各撮影画像には、それぞれのユーザマーク４２１、４３１、４４１、４５１、４６１が表示されている。さらに各撮影画像には、ユーザＡの撮影画像４１と紐付け保存するか否かを選択（Ｓ１１０）する選択釦４２２、４３２、４４２、４５２、４６２が表示されている。このような合成表示を行うことで、同じイベントにおけるユーザＡの撮影画像４１と他のユーザＢ～Ｆの撮影画像４２～４６とを一緒に見ることができ、イベントの臨場感を分かりやすく伝えることができる。
　続いて図７Ｂの例では、ユーザＢの撮影画像４２とユーザＣの撮影画像４３とが合成用に選択（紐付け）されており、ユーザＡがシャッタ釦４１３を押すと、Ａの撮影画像４１と特徴量がストレージ媒体に保存されるとともに、Ｂの撮影画像４２とＣの撮影画像４３、および各々の特徴量が紐付けされて保存される（Ｓ１１１）。
　図７Ｃは、図４Ｂの再生時のオートフレーミング処理（Ｓ１２３）による合成画面の表示状態（Ｓ１２４）を示す。この場合のオートフレーミング処理（Ｓ１２３）は、ユーザＡの撮影画像４１と、これに紐付けされたユーザＢの撮影画像４２とユーザＣの撮影画像４３に対して行なわれる。ユーザＡの撮影画像４１が、他の画像より優先して前面に表示されている。また、ＳＮＳ釦４０１を押せばＳＮＳアプリ１０４ｄが起動し、この画面をアップロードすることができる。
　図７Ｄは、図７Ｃの状態でフレーミングパターンを変更した場合を示す。ここでは、ユーザＡがユーザＢの撮影画像４２をタップし、Ｂの撮影画像４２を優先させて、再度オートフレーミング処理を実行した後の表示画面である。一般に、自分（ユーザＡ）のＯＵＴカメラでは自分自身の周りの様子を撮影するが、自分自身を撮影する訳ではない。一方、他人のカメラでは自分自身（ユーザＡ）を撮影している可能性がある。図７Ｄの例では、Ｂの撮影画像４２にユーザＡが写っている場合であり、ユーザＡは、Ｂの撮影画像４２をタップして、ユーザＡが写っているＢの撮影画像４２を拡大して前面に表示させている。
　図７Ｅは、図７Ｃの状態でフレーミングパターンを変更した他の場合を示す。ここでは、ユーザＡの撮影画像４１をタップし、全画面に拡大表示させた例である。
　図７Ｃ～７Ｅの表示画面は、いずれもＳＮＳサービス１６にアップロード可能である。特に図７Ｃや図７Ｄのように、Ａの撮影画像をＢとＣの撮影画像と一緒にＳＮＳにアップロードすることにより、イベント会場の様子を臨場感のある画像として、他のＳＮＳユーザに伝えることができる。
　図７Ｆは、図７Ｂとは異なる合成画面の例を示す。この例では、隣接する撮影画像がその境界で互いに重なりを有する場合、重なる部分の画像を斜めにカットして合成している。これにより、画像が重なって見えなくなる領域が特定の画像に偏らないように、すなわち各画像の境界を均等に表示している。
　以上、実施例１によれば、複数のカメラ画像を合成した表示画面を得るために、特別なユーザ操作を必要とすることなく、合成するカメラ画像の選択が容易な情報機器、及び画像共有システムを提供することができる。さらに、イベント等で複数のカメラの状況を一目で確認できるとともに、複数のカメラ画像を合成した画面をＳＮＳにアップロードして、臨場感のある画像をユーザ間で共有することが可能となる。
　実施例２では、カメラ画像共有システムにおける、カメラ画像共有サービス提供装置（カメラ画像共有サービス）１３とオートフレーミングサービス提供装置（オートフレーミングサービス）１０の動作について説明する。
　図８は、カメラ画像共有サービス提供装置１３のユーザ管理データベース（ＤＢ）１４の例を示す図である。ユーザ管理ＤＢ１４に登録されているユーザは、予めカメラ画像を共有あるいは交換することを目的に、グループ名が「イベントＴ」というユーザグループを形成している。ユーザ管理ＤＢ１４には、「さくら」をはじめＮ名のユーザが登録され、そのユーザニックネーム、モバイル番号、ＩＰアドレス、パスワード、メールアドレスのデータが記述されている。これらのユーザが使用する情報機器（カメラ）は特定のものである必要はなく、カメラ機能とディスプレイ機能を有する情報機器であれば利用可能である。例えば、メールアドレスとパスワードを入力してカメラ画像共有サービス１３にログインし、サービスの提供を受けることができる。
　図９は、オートフレーミングサービス提供装置１０におけるフレーミング処理部１１の動作フローを示す図である。ここでのフレーミング処理（Ｓ２００）は、ユーザのカメラ画像の特徴量を収集し、グループ化（紐付け）されている複数のカメラ画像の特徴量を要素としてインデックスベクトルを求める。そして、複数のカメラ画像を合成表示するのに好適なフレーミングパターンを求め、インデックスベクトルに対応させてフレーミングテーブル１２に登録する処理である。
　カメラ１から画像データと特徴量をアップロード受信すると（Ｓ２０１）、フレーミングテーブル１２の更新を開始する（Ｓ２０２）。まず、アップロードされた特徴量を、カメラ特徴量データベース１１ａに登録する（Ｓ２０３）。さらに、アップロードされているカメラの位置情報から、例えば図３のユーザＡのカメラに対しその周辺に位置するカメラ（ユーザＢ、Ｃ、Ｄ、Ｅ、Ｆ）を検索し、それらの特徴量をカメラ特徴量データベース１１ａから読み出す（Ｓ２０４）。
　次に、読み出した特徴量を用いて、フレーミングパターン候補を作成する（Ｓ２０５）。フレーミングパターンとは、各カメラ画像を合成する際の表示ルール（配置と大きさなど）であって、図１０に示すフレーミングパターンの評価指標に基づいて作成する（Ｓ２０６）。作成した候補が評価指標を満足する場合には、フレーミングテーブル１２に追加登録し（Ｓ２０７）、処理を終了する（Ｓ２０８）。作成した候補が評価指標を満足しない場合には、Ｓ２０５に戻りフレーミングパターンの候補を修正して再度作成し、評価を繰り返す。
　図１０は、フレーミングパターンの評価指標の例を示す図である。条件として、ディスプレイ４にどのカメラ画像も表示されないブランクエリアをできるだけ小さくすること、各々のカメラ画像に写っている中心被写体（例えば人物）が視認しやすい程度の大きさであること（そのために、カメラ画像の拡大／縮小、トリミング処理を行う）が挙げられる。さらに、カメラの位置情報を使い、現実のカメラの相対位置関係を維持しながら、距離に応じた表示がなされること、具体的にはＡのカメラから近いカメラ画像は比較的大きく、遠いカメラ画像は小さく表示すること、が求められる。これらを満足することで、イベント会場の臨場感を再現する合成画面を作成できる。
　また、フレーミングパターン候補の作成（Ｓ２０５）にあたっては、過去のフレーミングパターンの選択実績をフィードバックする。フレーミングテーブル１２には過去に遡って多量の選択実績のあるフレーミングパターンが登録されており、単一のグループに閉じるものではなく、広くオートフレーミングサービス１０を利用するカメラの実績が蓄えられている。これら多量の実績に対して、ＡＩ（Artificial Intelligence）学習処理を行うことによって、より好適なフレーミングパターンを含むフレーミングテーブル１２を作成することができる。
　実施例２によれば、インターネット９上にあるオートフレーミングサービス提供装置１０から好適なフレーミングパターンの提供を受けることができ、情報機器１では画像合成のためのユーザ操作が軽減する。また情報機器１の小型化、軽量化にも繋がる。
　実施例３では、情報機器１においてＯＵＴカメラ２とＩＮカメラ３を同時に取り扱い、それらの画像のオートフレーミング処理を行う場合について説明する。情報機器１（カメラ）の構成は実施例１（図２）に示した構成と同様であり、ＯＵＴカメラ２とＩＮカメラ３の画像のオートフレーミング処理は、ＦＲＯＭ１０４に格納したオートフレーミングプロセス１０４ｃにより実行する。
　図１１は、実施例３における情報機器１の撮影動作フローを示す図である。実施例１（図４Ａ）の動作フロー（Ｓ１００）と同じ機能のステップについては、同一の番号を付与しており、図４Ａの動作フローとは異なるステップを中心に説明する。
　カメラ起動を行うと（Ｓ１０１）、ＯＵＴカメラ２とＩＮカメラ３の設定を行う（Ｓ１０２ａ）。カメラの特徴量算出（Ｓ１０７ａ）では、ＯＵＴカメラ２とＩＮカメラ３各々のカメラ画像の特徴量を計算し、オートフレーミング処理（Ｓ１０８ａ）では、ＯＵＴカメラ２とＩＮカメラ３の２つのカメラ画像を対象とする。なお、情報機器１がＯＵＴカメラ２、ＩＮカメラ３以外のカメラを備える場合には、備える全てのカメラ画像を対象としてよい。オートフレーミング処理の結果、ＯＵＴカメラ２とＩＮカメラ３のカメラ画像を合成した画面が表示される（Ｓ１０９）。ユーザはこの中から撮影する画像を選択して（Ｓ１１０ａ）、撮影保存（シャッタ押し）を行う（Ｓ１１１）。
　なお、本実施例においても、カメラ画像共有サービス１３の利用が可能であり、そのパスを破線で示している。任意のタイミングでログインし（Ｓ１０４）、フレーミングテーブル１２や他ユーザのカメラ画像をダウンロードして（Ｓ１０６）、オートフレーミング処理（Ｓ１０８）を行う。これを撮影保存し、カメラ画像データや特徴量、さらには選択したフレームパターンをアップロード（Ｓ１１２）する。
　なお、再生処理とＳＮＳ処理に関しては、実施例１（図４Ｂ，図４Ｃ）の動作フローと同様である。
　図１２～図１４は、情報機器（カメラ）１の表示画面の例である。
  図１２Ａと図１２Ｂは、撮影時の合成画面の表示状態を示し、図１１におけるステップＳ１０９に対応する。図１２Ａは、横画面でカメラ撮影を行い、ＯＵＴカメラ２の画像４８とＩＮカメラ３の画像４７を横方向に並べて表示するフレーミングパターンが適用されている（Ｓ１０８ａ）。撮影画像の選択（Ｓ１１０ａ）では、選択釦４８２をチェックし、ＯＵＴカメラ２の画像４８を選択している。
　図１２Ｂは、縦画面でカメラ撮影を行い、ＯＵＴカメラ２の画像４８とＩＮカメラ３の画像４７を縦方向に並べて表示するフレーミングパターンが適用されている。撮影画像の選択では、選択釦４８２と４７２をチェックし、ＯＵＴカメラ２の画像４８とＩＮカメラ３の画像４７の両方を選択している。この状態でシャッタ釦４１３を押すと（Ｓ１１１）、ＯＵＴカメラ２とＩＮカメラ３の両方の画像が同時に撮影保存される。
　図１３Ａ～図１３Ｃは、合成するカメラ画像の選択操作方法を示す図である。本例ではカメラ画像の選択は選択釦ではなくシャッタ釦４１３で行い、選択したいカメラ画像の位置にシャッタ釦４１３を移動（ドラッグ）させる。
　図１３Ａでは、シャッタ釦４１３をＩＮカメラ３の画像４７上に移動させ、画像４７の外枠が太線でハイライト表示され選択されていることを示す。図１３Ｂでは、シャッタ釦４１３をＯＵＴカメラ２の画像４８上に移動させ、画像４８がハイライト表示され選択されていることを示す。また図１３Ｃでは、シャッタ釦４１３を画像４８と画像４７の境界線上に移動させ、画像４８と画像４７をハイライト表示して、ＯＵＴカメラ２とＩＮカメラ３の両方の画像を選択している。
　本例では、シャッタ釦４１３で撮影保存する画像を選択するという簡単な操作方法を採用している。さらに、シャッタ釦４１３を移動（ドラッグ）して、シャッタ釦４１３から指を離すときシャッタが切れるようにしておけば、カメラ画像を選択するという操作とシャッタを切るという操作がユーザの一連の操作で可能となり、使い勝手が一層向上する。
　図１４Ａと図１４Ｂは、撮影保存したカメラ画像を再生表示した状態を示す。図４Ｂの再生時の動作フローで、オートフレーミング処理（Ｓ１２３）の後、合成画面の表示（Ｓ１２４）に対応する。図１４Ａ、図１４Ｂの例では、ともにカメラ画像の中心付近の被写体をクローズアップして表示している。ただし、図１４Ａでは、ＯＵＴカメラ２の画像４８とＩＮカメラ３の画像４７を同等に扱うフレーミングパターンを適用しているのに対し、図１４Ｂでは、ＯＵＴカメラ２の画像４８を主となるように表示するフレーミングパターンを適用している。
　以上、実施例３によれば、ＯＵＴカメラとＩＮカメラの画像を合成した表示画面を得るのに特別なユーザ操作を必要とすることなく、撮影するカメラの選択が容易な情報機器、及びカメラ画像共有システムを提供することができる。さらに、カメラ画像の選択操作とシャッタ操作がシームレスなＧＵＩ（グラフィカルユーザインタフェース）の提供も可能となる。
　以上各実施例を説明したが、本発明はこれらに限るものでなく、例えば、ある実施例の構成の一部を他の実施例に置き換えることが可能である。また、ある実施例の構成に、他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。さらに、文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものではない。
　また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装してもよい。また、マイクロプロセッサユニット、ＣＰＵ等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実装してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。
　１：情報機器（カメラ）、２：ＯＵＴカメラ、３：ＩＮカメラ、４：ディスプレイ、９：インターネット、１０：オートフレーミングサービス提供装置、１１：フレーミング処理部、１２：フレーミングテーブル、１３：カメラ画像共有サービス提供装置、１４：ユーザ管理ＤＢ、１５：画像ストレージ、１６：ＳＮＳサービス提供装置、１０１ａ：モバイル通信ＩＦ、１０１ｂ：無線ＬＡＮＩＦ、１０２：ＣＰＵ、１０３：ＲＡＭ、１０４：ＦＲＯＭ、１０４ａ：カメラ共有アプリ、１０４ｂ：画像通信プロセス、１０４ｃ：オートフレーミングプロセス、１０４ｄ：ＳＮＳアプリ、１０５ｂ：ＳＤＣ、１０８：位置センサ、１０９：ビデオプロセッサ、１１０：グラフィックプロセッサ。

Claims (15)

  1. 　第一のカメラとディスプレイを有する情報機器であって、
    　ネットワークを介して外部の第二のカメラの撮影画像をダウンロードする通信手段と、
    　前記第一のカメラの撮影画像と前記ダウンロードした前記第二のカメラの撮影画像を合成するフレーミング手段を備え、
    　前記合成した画面を前記ディスプレイに表示し、ユーザにより前記ディスプレイに表示された画面から前記第一のカメラの撮影画像に紐付けて表示する前記第二のカメラの撮影画像が選択されると、前記第一のカメラの撮影画像とともにどの撮影画像が選択されたかを示す紐付け情報をストレージ媒体に保存することを特徴とする情報機器。
  2. 　請求項１に記載の情報機器であって、
    　前記通信手段は、前記第二のカメラの撮影画像とともに該撮影画像の特徴量をダウンロードし、
    　前記フレーミング手段は、前記第一のカメラの撮影画像の特徴量を算出し、該算出した特徴量と前記ダウンロードした前記第二のカメラの撮影画像の特徴量に基づいて、前記第一のカメラと前記第二のカメラの撮影画像を合成するためのフレーミングパターンを決定することを特徴とする情報機器。
  3. 　請求項２に記載の情報機器であって、
    　前記通信手段は、撮影画像を合成するための複数のフレーミングパターンの集合をダウンロードし、
    　前記フレーミング手段は、前記ダウンロードしたフレーミングパターンの集合から前記特徴量に基づいて１つのフレーミングパターンを選択することを特徴とする情報機器。
  4. 　請求項１に記載の情報機器であって、
    　前記通信手段が前記第二のカメラの撮影画像をダウンロードするとき、前記フレーミング手段は、前記第二のカメラの位置情報と撮影時刻情報によりダウンロードする撮影画像を限定することを特徴とする情報機器。
  5. 　請求項１に記載の情報機器であって、
    　前記第一のカメラの撮影時に、該第一のカメラの撮影画像と、該撮影画像の特徴量及び位置情報を、前記通信手段により前記ネットワークにアップロードすることを特徴とする情報機器。
  6. 　請求項１に記載の情報機器であって、
    　前記通信手段は、前記第二のカメラの撮影画像とともに該撮影画像の特徴量をダウンロードし、
    　前記フレーミング手段は、前記第一のカメラの撮影画像の特徴量を算出し、該算出した特徴量と前記紐付けされた前記第二のカメラの撮影画像の特徴量に基づいて、前記第一のカメラと前記第二のカメラの撮影画像を合成するためのフレーミングパターンを決定し、
    　該決定したフレーミングパターンに従い、前記第一のカメラの撮影画像と前記紐付けされた前記第二のカメラの撮影画像とを合成した画面を前記ディスプレイに表示することを特徴とする情報機器。
  7. 　請求項２に記載の情報機器であって、
    　前記フレーミング手段で決定したフレーミングパターンの情報を、前記通信手段により前記ネットワークにアップロードすることを特徴とする情報機器。
  8. 　請求項６に記載の情報機器であって、
    　前記ディスプレイに表示された合成画面に対し、ユーザが任意の撮影画像をタップすることで、前記フレーミング手段は前記フレーミングパターンの決定を変更することを特徴とする情報機器。
  9. 　請求項１に記載の情報機器であって、
    　前記フレーミング手段は、前記ディスプレイに表示される複数の撮影画像がその境界で重なりを有する場合、各撮影画像の境界が均等に表示されるように各撮影画像の表示境界を変更することを特徴とする情報機器。
  10. 　第一のカメラと第二のカメラとディスプレイを有する情報機器であって、
    　前記第一のカメラの撮影画像と前記第二のカメラの撮影画像を合成するフレーミング手段を備え、
    　前記合成した画面を前記ディスプレイに表示し、ユーザにより前記ディスプレイに表示された画面から前記第一のカメラと前記第二のカメラの撮影画像の少なくとも一方が選択されると、該選択された撮影画像をストレージ媒体に保存することを特徴とする情報機器。
  11. 　請求項１０に記載の情報機器であって、
    　前記フレーミング手段は、前記第一のカメラと前記第二のカメラの撮影画像の特徴量を算出し、該算出した特徴量に基づいて前記第一のカメラと前記第二のカメラの撮影画像を合成するためのフレーミングパターンを決定することを特徴とする情報機器。
  12. 　請求項１０に記載の情報機器であって、
    　前記ディスプレイに表示された画面から前記ストレージ媒体に保存する撮影画像を選択するために、ユーザは前記ディスプレイに表示されるシャッタ釦を所望の撮影画像の位置に移動させることを特徴とする情報機器。
  13. 　ネットワークを介し、カメラとディスプレイを有する複数の情報機器を、カメラ画像共有サービス提供装置と、オートフレーミングサービス提供装置に接続したカメラ画像共有システムにおいて、
    　前記カメラ画像共有サービス提供装置は、
    　前記複数の情報機器を管理するユーザ管理データベースと、
    　前記複数の情報機器からアップロードされた撮影画像及び該撮影画像の特徴量を保存する画像ストレージと、を備え、
    　前記オートフレーミングサービス提供装置は、
    　前記複数の情報機器からアップロードされた撮影画像の特徴量を用いて、複数の撮影画像を合成するためのフレーミングパターンを生成するフレーミング処理部と、
    　前記生成したフレーミングパターンを前記特徴量と対応付けて登録したフレーミングテーブルと、を備え、
    　前記情報機器は、
    　前記ネットワークを介して、前記カメラの撮影画像と該撮影画像の特徴量を、前記カメラ画像共有サービス提供装置にアップロードするとともに、前記カメラ画像共有サービス提供装置から他の情報機器の撮影画像と該撮影画像の特徴量、及び、前記オートフレーミングサービス提供装置から複数の撮影画像を合成するための複数のフレーミングパターンをダウンロードする通信手段と、
    　前記カメラの撮影画像の特徴量を算出し、該算出した特徴量と前記ダウンロードした前記他の情報機器の撮影画像の特徴量に基づいて、前記ダウンロードした複数のフレーミングパターンから１つのフレーミングパターンを選択して、前記カメラと前記他の情報機器の撮影画像を合成するフレーミング手段、を備え、
    　前記フレーミング手段で合成した前記カメラと前記他の情報機器の撮影画像を前記ディスプレイに表示することを特徴とするカメラ画像共有システム。
  14. 　請求項１３に記載のカメラ画像共有システムであって、
    　前記オートフレーミングサービス提供装置の前記フレーミング処理部は、合成される複数の撮影画像の位置関係、大きさ、合成画面に占める画像領域を評価指標としてフレーミングパターンを生成し、前記フレーミングテーブルに登録することを特徴とするカメラ画像共有システム。
  15. 　請求項１４に記載のカメラ画像共有システムであって、
    　前記オートフレーミングサービス提供装置の前記フレーミング処理部は、前記情報機器において選択されたフレーミングパターンの過去の選択実績を学習して、フレーミングパターンを生成することを特徴とするカメラ画像共有システム。
PCT/JP2018/000713 2018-01-12 2018-01-12 情報機器、及びカメラ画像共有システム Ceased WO2019138552A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2018/000713 WO2019138552A1 (ja) 2018-01-12 2018-01-12 情報機器、及びカメラ画像共有システム
CN201880086195.2A CN111587570B (zh) 2018-01-12 2018-01-12 信息设备、以及照相机图像共享系统
US16/960,489 US12081910B2 (en) 2018-01-12 2018-01-12 Information device and camera image sharing system
JP2019564246A JP6886048B2 (ja) 2018-01-12 2018-01-12 情報機器、及びカメラ画像共有システム
JP2021081702A JP7144571B2 (ja) 2018-01-12 2021-05-13 情報機器、及びカメラ画像共有システム
US18/790,945 US20240414286A1 (en) 2018-01-12 2024-07-31 Information device and camera image sharing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/000713 WO2019138552A1 (ja) 2018-01-12 2018-01-12 情報機器、及びカメラ画像共有システム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/960,489 A-371-Of-International US12081910B2 (en) 2018-01-12 2018-01-12 Information device and camera image sharing system
US18/790,945 Continuation US20240414286A1 (en) 2018-01-12 2024-07-31 Information device and camera image sharing system

Publications (1)

Publication Number Publication Date
WO2019138552A1 true WO2019138552A1 (ja) 2019-07-18

Family

ID=67219485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000713 Ceased WO2019138552A1 (ja) 2018-01-12 2018-01-12 情報機器、及びカメラ画像共有システム

Country Status (4)

Country Link
US (2) US12081910B2 (ja)
JP (2) JP6886048B2 (ja)
CN (1) CN111587570B (ja)
WO (1) WO2019138552A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021083146A1 (zh) 2019-10-30 2021-05-06 北京字节跳动网络技术有限公司 视频处理方法、装置、终端及存储介质
CN110784674B (zh) 2019-10-30 2022-03-15 北京字节跳动网络技术有限公司 视频处理的方法、装置、终端及存储介质
CN113068053A (zh) * 2021-03-15 2021-07-02 北京字跳网络技术有限公司 一种直播间内的交互方法、装置、设备及存储介质
CN117425057A (zh) * 2022-07-07 2024-01-19 抖音视界(北京)有限公司 用于影像拍摄的方法、装置、设备和存储介质
CN117407596A (zh) 2022-07-07 2024-01-16 抖音视界(北京)有限公司 用于内容呈现的方法、装置、设备和存储介质
CN115334246B (zh) 2022-09-06 2025-07-01 抖音视界有限公司 用于影像拍摄的方法、装置、设备和存储介质
US12535937B2 (en) * 2022-12-12 2026-01-27 Baker Hughes Holdings Llc Merge menu directed inspections from multiple borescope inspections into a single inspection and report

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014212404A (ja) * 2013-04-17 2014-11-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2015069426A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 画像割当装置および画像割当方法
US20150304588A1 (en) * 2005-04-26 2015-10-22 Searete Llc Shared Image Devices

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035246A (ja) * 2006-07-28 2008-02-14 Mitsubishi Space Software Kk 構図評価装置、構図調整装置、画像撮影装置、構図評価プログラム、構図調整プログラム、画像撮影プログラム、構図評価方法、構図調整方法及び画像撮影方法
JP2008219449A (ja) * 2007-03-05 2008-09-18 Fujifilm Corp 撮像装置およびその制御方法
JP5181806B2 (ja) * 2008-04-25 2013-04-10 株式会社ニコン 撮影装置
US8947547B1 (en) * 2010-09-12 2015-02-03 Thomas Nathan Millikan Context and content based automated image and media sharing
JP5773618B2 (ja) * 2010-11-08 2015-09-02 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、プログラム
US20120179960A1 (en) * 2011-01-07 2012-07-12 Cok Ronald S Image layout adjustment aparatus
JP5990068B2 (ja) 2012-09-13 2016-09-07 シャープ株式会社 制御装置、制御方法、および制御プログラム
JP2015011578A (ja) * 2013-06-28 2015-01-19 株式会社東芝 情報処理装置および表示制御方法
JP2016048835A (ja) 2014-08-27 2016-04-07 オリンパス株式会社 撮像装置、撮像装置の制御方法、撮像装置の制御プログラム、及び撮像システム
JP6529108B2 (ja) 2014-10-14 2019-06-12 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20170147610A1 (en) * 2015-11-24 2017-05-25 Via Capitale Image-based search engine
KR102422448B1 (ko) * 2017-11-21 2022-07-19 삼성전자 주식회사 이미지와 관련된 링크 정보를 이용하여 외부 전자 장치와 이미지를 공유하는 방법 및 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304588A1 (en) * 2005-04-26 2015-10-22 Searete Llc Shared Image Devices
JP2014212404A (ja) * 2013-04-17 2014-11-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2015069426A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 画像割当装置および画像割当方法

Also Published As

Publication number Publication date
JP2021132392A (ja) 2021-09-09
JPWO2019138552A1 (ja) 2020-12-24
US20210067741A1 (en) 2021-03-04
CN111587570B (zh) 2025-08-12
JP7144571B2 (ja) 2022-09-29
JP6886048B2 (ja) 2021-06-16
US20240414286A1 (en) 2024-12-12
US12081910B2 (en) 2024-09-03
CN111587570A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
JP7144571B2 (ja) 情報機器、及びカメラ画像共有システム
TW200931287A (en) Guided photography based on image capturing device rendered user recommendations
JP6375039B1 (ja) プログラム、撮影方法及び端末
JP6635573B2 (ja) 画像処理システム、画像処理方法、及びプログラム
CN114009003B (zh) 图像采集方法、装置、设备及存储介质
EP3764633B1 (en) Photographing method, device, storage medium, and computer program
US10192252B2 (en) Information processing apparatus to provide position based services
TW201741853A (zh) 虛擬實境即時導覽方法及系統
CN113905175A (zh) 视频生成方法、装置、电子设备及可读存储介质
JP2009129398A (ja) 画像表示装置および画像表示方法
CN112887620A (zh) 视频拍摄方法、装置及电子设备
JP6644288B1 (ja) 体験共有システム、体験共有方法
CN114285988B (zh) 显示方法、装置、电子设备及存储介质
CN115967854B (zh) 拍照方法、装置及电子设备
JP7013786B2 (ja) 情報処理装置、プログラム及び制御方法
CN115205169B (zh) 图像处理方法、装置、电子设备和存储介质
JP6326656B2 (ja) 画像提供システム
CN116782022A (zh) 一种拍摄方法、装置、电子设备及可读存储介质
JP2017134403A (ja) 写真シール遊戯システム
WO2023021759A1 (ja) 情報処理装置、情報処理方法
CN116828131A (zh) 基于虚拟现实的拍摄处理方法、装置及电子设备
CN120255744B (zh) 多媒体资源发布方法、装置、电子设备及存储介质
KR102540516B1 (ko) AR(Augmented Reality) 컨텐츠를 제공하는 장치, 사용자 단말 및 방법
JP2016092727A (ja) アドバイス表示装置
CN114500846B (zh) 现场活动观看视角切换方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18899980

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019564246

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18899980

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 201880086195.2

Country of ref document: CN