WO2020158955A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2020158955A1 WO2020158955A1 PCT/JP2020/003977 JP2020003977W WO2020158955A1 WO 2020158955 A1 WO2020158955 A1 WO 2020158955A1 JP 2020003977 W JP2020003977 W JP 2020003977W WO 2020158955 A1 WO2020158955 A1 WO 2020158955A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information processing
- camera
- image
- processing apparatus
- unit
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 381
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 238000013519 translation Methods 0.000 claims description 119
- 238000012545 processing Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 8
- 238000003702 image correction Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 84
- 238000000034 method Methods 0.000 description 46
- 230000008569 process Effects 0.000 description 32
- 238000006243 chemical reaction Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 230000007246 mechanism Effects 0.000 description 17
- 238000012015 optical character recognition Methods 0.000 description 13
- 210000000887 face Anatomy 0.000 description 7
- 238000003825 pressing Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 239000010979 ruby Substances 0.000 description 5
- 229910001750 ruby Inorganic materials 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 229940018489 pronto Drugs 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/04—Bodies collapsible, foldable or extensible, e.g. book type
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
Definitions
- the present invention relates to an information processing device.
- a front camera self-portrait camera directed to the display side.
- a front camera self-portrait camera
- Those that separately equipped were popular.
- the terminal if two high-performance cameras are used, the terminal becomes expensive, the camera and the lens must be large, which is not preferable in terms of design, and usually, it is necessary to shoot the other person. Since it is used as a main camera, a small, inexpensive, low-performance front camera has been adopted as a sub camera.
- Patent Document 1 discloses a technique in which an image sensor unit is rotated by a movable mechanism in accordance with selection of a shooting mode, and a filter and a lens used are automatically switched according to the rotation.
- the present invention has been made in view of such a situation, and enables a high-performance camera to be oriented in any direction with respect to the apparatus main body, and allows a user to shoot in a free posture while viewing a camera viewpoint image. It is an object of the present invention to provide a portable information device capable of performing the above.
- an information processing device of one embodiment of the present invention is An image capturing means for capturing an image, Subject extracting means for extracting a subject from a captured image generated by the image capturing means, Information extracting means for extracting information indicated by the subject, Information analysis means for analyzing the information, Generating means for generating an object based on the result of the analysis; Presentation means for presenting the object together with the captured image, Equipped with.
- the present invention it is possible to provide a portable information device capable of shooting in a free posture while visually recognizing a camera viewpoint image.
- FIG. 1 shows the external appearance structure of one Embodiment of the information processing apparatus of this invention. It is a figure which shows the external appearance structure of the information processing apparatus of FIG. It is a figure which shows a mode that the connection part of the information processing apparatus of FIG. 1 was rotated. It is a figure which shows a mode that the stand part of the information processing apparatus of FIG. 1 was rotated. It is a figure which shows a mode that the information processing apparatus of FIG. 1 is leaning on a desk and used. It is a figure which shows an example of the picked-up image pick-up/drop-off screen displayed on the information processing apparatus of FIG. It is a figure which shows a mode that the information processing apparatus of FIG. 1 is performing indoor navigation, such as a store.
- FIG. 2 is a diagram showing a state in which the information processing apparatus of FIG. 1 is in a horizontal position, and information about the top and bottom (top and bottom) when a camera is oriented in a direction different from that of the main body, is added to the photograph, and a display method. ..
- FIG. 2 is a diagram showing a state where the information processing apparatus of FIG.
- FIG. 1 is in a vertical position, and information of up and down (top and bottom) when a camera is oriented in a direction different from the main body, is added to the photograph, and a display method. .. It is a figure which shows a mode that the shutter remote control is removed from the main body in the information processing apparatus of FIG.
- FIG. 2 is a diagram showing a state in which a mirror is set in front of a front camera of an information processing apparatus having a fixed camera, which is different from the information processing apparatus of FIG. 1, to automatically translate a book and read receipt data. .. It is a figure which shows a mode that the information processing apparatus of FIG. 1 is playing an AR game while walking outdoors.
- FIG. 1 It is a figure which shows a mode that a sound source is tracked and image
- FIG. 17 It is a figure which shows the structure of the biaxial rotation mechanism part of the information processing apparatus of FIG. It is a figure which shows each state which changed the shape when equipping a notch part of the display part of the information processing apparatus of FIG. 1 with a slide type rotary camera. It is a figure which shows an example of the translation screen (UI) of the information processing apparatus of FIG. 17 is a flowchart showing a translation and aloud process of the information processing device of FIG. 16. 17 is a flowchart showing a translation and aloud process of the information processing device of FIG. 16. It is a figure which shows an example of the sound reading screen (UI) of the information processing apparatus of FIG. 17 is a flowchart showing a process of reading aloud by the information processing apparatus of FIG. 16.
- UI translation screen
- 17 is a flowchart showing a process of reading aloud by the information processing apparatus of FIG. 16.
- 17 is a flowchart showing a process of text conversion of the information processing device of FIG. 16.
- 17 is a flowchart showing a process of text conversion of the information processing device of FIG. 16. It is a figure which shows an example of the mirror unit with which the information processing apparatus of FIG. 16 is equipped. It is a figure which shows the other example of the mirror unit with which the information processing apparatus of FIG. 16 is equipped.
- FIG. 1 is a diagram showing an external configuration of an embodiment of an information processing device of the present invention.
- FIG. 1A is a front view of the information processing device.
- FIG. 1B is a top view of the information processing device 1.
- FIG. 1C is a left side view of the information processing device.
- the information processing apparatus 1 has at least a display function and a digital camera function, and includes a main body 11 and a connecting portion 12, which are rotatably connected to each other.
- the main body 11 is a first housing which is formed in a rectangular column shape having a quadrangular shape in a plan view, and in which various substrates are built. On a predetermined surface 11a (hereinafter referred to as "front surface 11a") of the main body portion 11, a display portion 13 including a touch panel display or the like is arranged.
- FIG. 2 is a diagram showing an external configuration of the information processing apparatus of FIG.
- FIG. 2A is a rear view of the information processing device.
- 2B is a cross-sectional view taken along the line AA in FIG.
- FIG. 2C is a cross-sectional view of FIG. 2A as seen from above.
- the back surface 11b of the main body 11 is one surface facing the front surface 11a described above with reference to FIG.
- the connecting portion 12 is formed in a substantially rectangular shape in a plan view, and is rotatably arranged on one short side of the back surface 11b of the main body portion 11.
- the connecting portion 12 has a camera base portion 12-1 and a camera directing portion 12-2.
- a circular camera 21 is arranged on the front surface (the surface on the side visible in FIG. 2A) of the camera directing unit 12-2. That is, the connecting portion 12 is the second housing that houses the camera 21.
- the camera 21 is an imaging unit that images a subject.
- a captured image including the subject captured by the camera 21 is displayed on the display unit 13.
- the recess width W is the width of the recess for the camera unit.
- the turning radius r2 is the longest turning radius from the rotation axis (center) of the hinge on the second axis.
- the camera base 12-1 is rotatably supported by the main body 11 so that the entire connecting portion 12 can rotate about a rotation axis Z1. More specifically, the camera base 12-1 is configured to be rotatable about the rotation axis Z1 while the end face of the columnar outer shape is in sliding contact with the main body 11.
- the shaft support penetrates between both end faces, but it is also possible to support both ends by both sides by inserting rotary shafts from both end faces, or further to support by cantilever. ..
- the camera directing section 12-2 on which the camera 21 is mounted is cantilevered with respect to the camera base section 12-1 about a rotation axis Z3 arranged substantially orthogonal to the rotation axis Z1 as a rotation center. Is pivotally supported.
- the arrangement direction of the camera 21 is approximately 90 degrees with respect to the rotation axis Z3. That is, the camera 21 can take a motion in a solid angle with respect to the main body 11 by the two substantially orthogonal independent rotation axes of the rotation axis Z1 and the rotation axis Z3.
- the connecting portion 12 is a portion that connects the camera 21 relative to the main body portion 11 so as to be rotatable relative to the main body portion 11 directly or indirectly by a plurality of rotating shafts including the axis Z3.
- the connecting part 12 has one or more movable parts having a smaller volume than the main body part 11.
- a camera base 12-1 and a camera directing unit 12-2 are provided as such movable parts.
- the camera 21, which is the image pickup unit, may be arranged on one predetermined surface of one or more movable parts, but in this example, it is arranged in front of the camera directing section 12-2 as described above.
- the angle formed by the direction of the rotation axis Z1 and the direction of the rotation axis Z3 is approximately 90 degrees.
- the information processing apparatus 1 is further provided with a stand 14 so that the information processing apparatus 1 can be placed by leaning against a desk or the like.
- the stand 14 is rotatably supported with respect to the main body 11 about a rotation axis Z2. That is, the stand 14 is formed in a frame shape and forms an appropriate arbitrary angle with the main body portion 11 by rotating about the rotation axis Z2, thereby stabilizing the information processing device 1 on a horizontal plane by itself (described later). See FIG. 5).
- the illustrated U-shaped planar shape is an example, and may be a substantially U-shaped planar shape. Further, if it can be used on a vertical surface, which will be described later, it may have a planar hook shape or the like.
- the stand 14 has a frame-like shape surrounding the connecting portion 12, the stand 14 and the connecting portion 12 can be made much more space efficient than if they are separately located, and the information processing device is wastefully used. It is possible not to make the housing of No. 1 large. Alternatively, the internal substrate can be prevented from being unnecessarily divided. It should be noted that the connecting portion 12 and the stand 14 substantially share a center line about both end surfaces with respect to the rotating shaft, like a line AA.
- the rotation axis Z1 is the rotation center of the connection axis between the main body 11 and the connecting portion 12, and is arranged in parallel to the lateral direction of the display unit 13.
- the rotation range of the rotation axis Z1 is approximately 180 degrees or more from the rear surface 11b, and preferably exceeds 270 degrees.
- the rotation axis Z2 is the rotation center of the connection axis between the main body 11 and the stand 14. It is desirable that the rotation range of the rotation axis Z2 reaches 180 degrees from the back surface 11b, and in particular, an arbitrary angle from the back surface 11b to 90 degrees is set against the moment of gravity of the information processing device 1 on the horizontal plane. An appropriate rotation resistance may be given so that it can be maintained. Thereby, the user can arrange the information processing device 1 in a self-sustaining manner in a desired angular posture on a horizontal plane. It should be noted that it is also possible to provide a portion for offsetting on the rotation axis Z2 side of the stand 14 so that the rotation center of the rotation axis Z1 and the rotation center of the rotation axis Z2 are shared.
- the rotation axis Z3 is the rotation center of the connection axis between the camera base 12-1 and the camera directing section 12-2, and is arranged in parallel with the longitudinal direction of the display unit 13.
- the rotation axis Z3 is provided substantially orthogonal to the rotation axis Z1 and rotates on a substantially orthogonal plane around the rotation axis Z1. It is desirable that the turning range of the turning axis Z3 reaches 180 degrees to the left and right from a substantially orthogonal plane around the turning axis Z1 around which the turning axis Z3 turns.
- FIG. 3 is a diagram showing a state in which the connecting portion of the information processing apparatus of FIG. 1 is rotated.
- the connecting portion 12 (more accurately, the camera base portion 12-1) of the information processing apparatus 1 in FIG. 1 is in a state of being rotated by 90 degrees about the rotation axis Z1.
- the connecting portion 12 (more precisely, the camera base 12-1) further rotates about the rotation axis Z1 from the state of FIG. It has been rotated 180 degrees.
- the connecting portion 12 (more precisely, the camera directing portion 12-2) is in a state of being further rotated by 90 degrees about the rotation axis Z3 from the state of FIG. 3B. ..
- FIGS. 1 As shown in FIGS.
- the distance h1 is from the rotation axis (center) of the hinge of the first axis to the upper side surface of the main body 11 of the information processing device 1 (smartphone). It is the longest distance to the top surface of the device 1 (the side with the display unit 13) or the bottom surface of the information processing device 1 (the side without the display unit 13).
- the distance h2 is the distance from the rotation axis (center) of the first axis hinge to the rotation section of the second axis hinge.
- the relationship between the distance h1 and the distance h2 is the relationship shown in the following expression (2). h2>h1...(2)
- FIG. 4 is a diagram showing a state in which the stand 14 of the information processing device 1 of FIG. 1 is rotated.
- FIG. 4A shows the same state as FIG. 3B described above, in which the stand 14 is not rotated but is housed in the main body 11.
- the stand 14 is further rotated around the rotation axis Z2 from the state of FIG. 4A, and is rotated 180 degrees around the rotation axis Z2.
- the relationship between the distance h1 and the distance h2 is the same as that of the above equation (2).
- the user turns the stand 14 into a state in which the stand 14 is rotated 180 degrees about the rotation axis Z2, and the stand 14 is clipped on the wall KB as shown in FIG. 4(C).
- the information processing device 1 can be attached to the wall KB by hanging it on CL or the like.
- the optical axis direction of the camera 21 shooting direction of the subject
- the normal direction of the display unit 13 the direction in which the user looks at the display unit 13
- the user can easily take a self-portrait, that is, take a self-portrait (self-portrait) while observing the camera viewpoint image (the image in which he/she appears) by being positioned facing the wall KB. ..
- the rotation axis Z2 causes the stand 14 to rotate with respect to the main body section 11, and the two axes of the rotation axis Z1 and the rotation axis Z3 cause the camera 21 (connecting section 12) to move to the display section 13 (main body). It rotates with respect to the part 11). Therefore, the user can use the information processing apparatus 1 by hanging it over the wall KB as shown in FIG. 4 when taking a selfie shot (self-portrait) or by using the information processing apparatus 1 as shown in FIG. It can also be used by leaning against a table.
- FIG. 5 is a diagram showing a state in which the information processing device 1 of FIG. 1 is leaning against a desk and used.
- FIG. 5A is a perspective view from the viewpoint of the front surface 11a side on which the display unit 13 is arranged.
- FIG. 5B is a perspective view showing a mode of use of the information processing apparatus of FIG. 1 on the desk, which is viewed from the back surface 11b side on which the display unit 13 is arranged.
- the stand 14 in the present embodiment is in a state of being rotated within 90 degrees about the rotation axis Z2 from the state of FIG. 4(A).
- the information processing apparatus 1 of FIG. 1 When the user of the information processing apparatus 1 of FIG. 1 takes an image of himself/herself, as shown in FIG. 5, the information processing apparatus in a state in which the main body 11 and the stand 14 are deformed so as to open a predetermined angle. 1 is erected on a desk or the like. Even in this state, the information processing apparatus 1 can turn the rotation axis Z1 and the rotation axis Z3 to point the camera 21 at the subject.
- the information processing apparatus 1 can take a picture without holding the main body 11 by using the shutter remote control function and the self-timer function, so that various problems to be described later can be solved.
- the selfie selfie using the front camera of the conventional smartphone is popular all over the world, especially in the Asian region.
- the conventional smartphone has various problems as described below.
- a user using a conventional smartphone cannot take a picture of themselves from a distance greater than the length of his or her hand because he presses the shutter with his or her hand.
- the wide-angle limit it may not be possible for everyone (family, lover, friends, etc.) who wants to take pictures together, or it is impossible to take a full-length picture of yourself.
- a method using a selfie self-portrait stick. With this method, you can take a picture from a distance greater than the length of your hand, but you cannot take a picture from a distance greater than the length of the selfie stick.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, since the information processing apparatus 1 to which the present invention is applied has the stand 14, the self-timer, and the shutter remote control function, it can be fixed to a wall or a table as shown in FIGS. Becomes unnecessary.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, since the information processing apparatus 1 to which the present invention is applied has the biaxial rotation mechanism of the stand 14 and the camera, it can be fixed to a wall or a table as shown in FIGS. The hands of people other than the target person are unnecessary.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, since the information processing apparatus 1 to which the present invention is applied has the biaxial rotation mechanism of the stand 14 and the camera, it can be fixed to a wall or a table as shown in FIGS. Becomes unnecessary. In addition, when it is desired to take a picture on a vertically long screen, the stand 14 is erected and the connecting portion 12 is rotated by 180 degrees or more, so that the picture can be taken while being fixed on the table, so that a tripod is unnecessary. In this case, it is not always necessary to stand the stand 14.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, since the information processing apparatus 1 to which the present invention is applied has the stand 14 and the rotation mechanism of the camera, it can be fixed to a wall or a desktop as shown in FIGS. It becomes unnecessary to have it. In addition, if you want to take a video chat with your face on a vertically long screen and have a video chat, by standing the stand 14 and rotating the connecting part 12 by 180 degrees or more, you can shoot while it is fixed on the desktop, so you can take a smartphone It becomes unnecessary to have in your hand. In this case, it is not always necessary to stand the stand 14.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, since the information processing apparatus 1 to which the present invention is applied has the biaxial rotation mechanism of the stand 14 and the camera, as shown in FIGS. 4 and 5, the rear camera is moved to the front by biaxial rotation. It is possible to wrap around and point at any angle, eliminating the need for a front camera with a fixed angle. In addition, if you want to shoot on a vertically long screen, you can stand on the stand 14 and rotate the connecting part 12 by 180 degrees or more to shoot while it is fixed on the table, so you do not need a front camera with a fixed angle. Become. In this case, it is not always necessary to stand the stand 14.
- the information processing apparatus 1 to which the present invention is applied utilizes the space provided between the stand 14 and the connecting portion 12 by rotating the connecting portion 12 and the stand 14 by 180 degrees. Since it can be suspended and supported on the plane by utilizing the projections and the pin-shaped members, it is suitable for wall hanging use, and it is not necessary to separately provide a hook.
- front cameras are generally (A) Low resolution (B) Low sensitivity (Cannot shoot without flash in dark scenes) (C) Fixed focus, not auto focus (D) There are auto focus types, but slow auto focus speed (E) Low zoom magnification (F) Without flashlight, performance is often poor , I can't capture images with beautiful image quality. In addition, if the rear camera and the front camera have different performances, it is necessary to develop two cameras for one model. As a solution to this problem, there is application software for taking a selfie shot with a rear camera, but since the display part cannot be seen, it is very inconvenient to navigate by voice.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, in the information processing apparatus 1 to which the present invention is applied, the camera 21 as a high-performance camera can be oriented in any direction with respect to the apparatus body, and a free posture can be obtained while visually recognizing a camera viewpoint image. Therefore, application software for taking a selfie shot without looking at the display unit 13 is unnecessary.
- the stand and the rotary camera which are the above-mentioned solutions, also require respective shafts for rotation on the main body side, and it is necessary to secure a space for the two shafts. Becomes larger.
- the camera depending on how the camera is rotated, even if the camera of the smartphone placed upright on the stand rotates, the camera often does not face the subject, which is often not a solution. Although it is possible to increase the rotation axis so that the camera faces the subject, it is often troublesome to always point the camera at the subject when taking a picture.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, since the information processing apparatus 1 to which the present invention is applied may use the rotation axis of the stand 14 and the camera 21 as a common axis, as shown in FIG. 4 and FIG. It is possible to point 21 and there is no need to increase the number of pivots.
- a high-angle shot taken from a position higher than the eyes and a low-angle shot taken from a position lower than the waist are Since the orientation and the orientation of the display unit face each other, it is difficult to shoot while looking at the display unit.
- a high-angle shot is necessary when taking a picture when the subject is stuck in a fence or when shooting from the top of the fence, but when the camera is aimed at the subject, the display part looks up. It is facing, and it is not possible to shoot while viewing the camera viewpoint image.
- the display unit faces downward, and again, it is not possible to shoot while viewing the camera viewpoint image.
- the orientation of the camera and the orientation of the display unit can be set separately, so that it is possible to shoot while viewing the camera viewpoint image.
- the vertical direction of the screen may change, but if no effort is made, the vertical direction may be reversed.
- it is possible to rotate in both directions because it is difficult to shoot if the camera rotates in a fixed direction (it rotates only clockwise from the normal position). Is desirable.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, since the information processing apparatus 1 to which the present invention is applied has the biaxial rotation mechanism of the stand 14 and the camera 21, the biaxial rotation of the rear camera 21 is performed as shown in FIGS. 4 and 5. With this, it is possible to direct the light up and down at any angle, and the rear camera whose angle is fixed becomes unnecessary. When the camera 21 is rotated, it is desirable that the field angle (wide angle, normal angle, narrow angle, etc.) that can be photographed be automatically switched at some timing.
- the optical axis direction side of the front camera often has a short distance to the subject, so it is desirable to shoot at a wide angle, while the optical axis direction side of the rear camera is desired to be normal or narrow angle. Therefore, it is desirable that the angle of view automatically changes depending on the orientation of the camera.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, since the information processing apparatus 1 to which the present invention is applied has a shutter remote controller compatible function, the shutter can be released without pressing the shutter button or the touch panel when taking a selfie shot as shown in FIGS. It is possible to take down, and it becomes unnecessary to hold the smartphone firmly.
- a screen sharing function that transfers the camera viewpoint image to another information processing apparatus such as a smartphone or a personal computer by wire or wirelessly and enables operation is also provided. It is advisable to adopt the method of mounting. As a result, it is possible to capture a still image or a moving image from a distant position while sharing the camera viewpoint image of the information processing device 1 with another information processing device.
- the information processing apparatuses are directly connected to each other, or the Internet is used to share the camera viewpoint image of the information processing apparatus 1 placed at home with the personal computer in the office. It is also possible to take pictures of the remaining pets in.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, in the information processing apparatus 1 to which the present invention is applied, the rotation about the rotation axes Z1 and Z3 of the camera 21 may be electric, so as shown in FIG. However, it is not necessary to move the camera 21 laterally.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, in the information processing apparatus 1 to which the present invention is applied, it is possible if the camera 21 that faces the person has a high function (for example, gesture recognition of Exvision), and a camera dedicated to gesture recognition is not necessary.
- the navigation can be used immediately without needing time to recognize the direction due to the user interface in which the arrow is superimposed on the image actually captured by the camera.
- the smartphone main body perpendicular to the ground, the display part at that time becomes a very difficult angle to see, I'm tired of holding it all the time.
- the information processing apparatus 1 to which the present invention is applied may lock the rotation of the camera 21 at a specific angle, and if the main body 11 is held and stabilized, the camera 21 also stabilizes.
- the information processing apparatus 1 to which the present invention is applied can direct the camera 21 in any direction with respect to the apparatus main body, and displays a camera viewpoint image on a part of the screen while displaying a navigation map. Since it can be displayed in the form of Picture in Picture, the smartphone can be used as a drive recorder while being used for other purposes at the same time. Therefore, a dedicated drive recorder becomes unnecessary.
- the camera 21 can be rotated in two axes, such as installing on a car so that it has a horizontally long screen, but installing on a bicycle so that it has a vertically long screen, so it supports a wide range of installation methods. Is possible.
- the solution to this problem is to employ the information processing device 1 to which the present invention is applied. That is, the information processing apparatus 1 to which the present invention is applied is assumed to be applied to a stereo camera, and can be solved if there is a rotating camera 21, and it is not necessary to add a function to the front camera. ..
- the conventional information processing apparatus it is not easy to select and sort while confirming a captured image on a screen displayed in full size.
- the information processing apparatus 1 of the present invention as shown in FIG. 6, it is possible to provide a function of automatically reproducing images taken by a camera in a slide show and sequentially selecting them.
- This is an image in which three buttons, a delete button B1, an under consideration button B2, and a hold button B3 are displayed. That is, when the user selects any one of the buttons, the next photo is selected.
- the operation does not necessarily need to be performed manually, and may be automated by AI or the like. Since this is a function of application software, it can be realized by a conventional information processing device.
- a conventional information processing device for example, a smartphone
- the camera rotates with respect to the image captured by the biaxial rotation camera, the monoaxial rotation camera, or the 360-degree camera. Since the display can be held and the camera can be pointed in the traveling direction with the display held at an easy angle, it is possible to provide a function of performing indoor navigation on the AR as shown in FIG. it can.
- the guide information GI1 indicates, on the AR, that the amount of sugar is low (for example, the storage amount at the user's house or the display amount at the sales floor).
- the guide information GI2 indicates the direction of the discounted goods section on the AR.
- the guide information GI3 indicates the display position of the 10% discount product on the AR.
- the guide information GI4 indicates, on the AR, the display position of the product of 10 color variations.
- the information processing device 1 performs navigation inside the store such as where the item to be purchased is located.
- the information processing apparatus 1 may generate a mark, sound, or vibration on the screen when the object the user is looking for in the camera enters the camera viewpoint image.
- the information processing device 1 may notify the user by lowering or raising the volume when moving away from the target.
- the same function may be installed in a conventional information processing device in which the angle of the camera is fixed.
- the display is easy to see for an image taken by a biaxial rotation camera, a monoaxial rotation camera, or a 360-degree camera. Since the camera can be oriented in the traveling direction while being held at an angle, it is possible to perform navigation by AR as shown in FIG. Therefore, it may be possible to provide a function of issuing an advertisement by image or sound on the (A)R.
- the advertisement AD1 shows an advertisement with position information indicating that a 10% discount sale for all items is being performed on the AR.
- the advertisement AD2 indicates, on the AR, the advertisement with the position information of the store name of the store which is about to start business in the near future or the store whose store is open soon.
- the information processing apparatus 1 may allow the user to select from the menu whether to issue the AR advertisement or not. Further, the information processing apparatus 1 may select the content from the menu, for example, limited to sale information or restaurant advertisement. Also, the advertiser side may be able to specify the attributes and the like of the target user for publication in the menu. Furthermore, the information processing device 1 may notify the user by sound or vibration when the advertisement is displayed. Further, the information processing device 1 may have a function of automatically rotating the camera toward the place where the advertisement is displayed so that the advertisement may be noticed. Furthermore, the same function may be installed in a conventional information processing device in which the angle of the camera is fixed.
- a conventional information processing device for example, a smartphone also has a function of displaying a translation in AR for a video image captured by a camera.
- AR navigation requires a smartphone in an unnatural posture, so it is not very common, and within that, there is no need to switch application software from the AR navigation to translate in AR, etc. Was not easy to put out.
- an image captured by a two-axis rotating camera, a one-axis rotating camera, or a 360-degree camera is translated on the AR (during navigation or the like). It is possible to provide the function of issuing information.
- a background used in AR navigation captured by a two-axis rotary camera, a one-axis rotary camera, or a 360-degree camera while driving a vehicle.
- the background image that passed through the navigation service etc. for the point on the street view map is displayed, providing the function of displaying the street view in near real time. can do.
- the near real-time street view may display not only the absolute time but also the relative time, that is, how many minutes ago the information is.
- the server or the like connected to the cloud CD may combine the images of a plurality of cameras to create an image.
- the information processing apparatus 1 may display the videos that have passed in front of the point in time order from the latest one. By doing so, the user can, for example, browse in advance the video RM of the line of the ramen shop on the portable information terminal, check the number of people lined up in front of the famous ramen shop, or the video of the gas station. It is possible to use it by viewing the price information of GS.
- the server or the like connected to the cloud CD may create a database capable of listing the prices of gas stations in real time from the above data.
- one embodiment of the information processing apparatus 1 of the present invention is a display that displays an image capturing unit that captures an image of a subject and a captured image that includes the subject captured by the image capturing unit.
- a recess that is provided on one surface and that can accommodate the imaging unit that is rotated to the other one surface side by the hinge unit in a shape that overlaps with the main body in the thickness direction;
- a first sensor that detects the direction of the image capturing unit and a second sensor that is disposed in the image capturing unit and that independently detects the direction of the image capturing unit are provided.
- FIG. 10 is a diagram showing a state in which the information processing device 1 is in the horizontal position and information about the direction in which the image is picked up by the camera in a direction different from that of the main body is added to the photograph, and how the information is displayed.
- FIG. 10 is a diagram showing a state in which the information processing device 1 is in the horizontal position and information about the direction in which the image is picked up by the camera in a direction different from that of the main body is added to the photograph, and how the information is displayed.
- FIG. 10A shows a common main body posture when the camera 21 is rotated about the rotation axis Z1 and the rotation axis Z3, which is a use state in a lateral position. That is, the display unit 13 is substantially vertical and is directed to the user side, and it is indicated that the subject is present on the back side of the display unit 13 in a positional relationship in which the rear camera can capture an image.
- FIG. 10B shows a state of use similar to that of a normal rear camera in the horizontal position, and the same upper and lower (top and bottom) information as that of the main body is added to the photograph.
- FIG. 10C shows a state in which the camera 21 is rotated 90 degrees about the rotation axis Z1 in the horizontal position.
- the information processing apparatus 1 is a switching point at which the display is not reversed in the vertical direction but the display is reversed in the horizontal direction when the mirror mode is ON.
- the mirror mode is a mode in which a captured image of the camera displayed on the display is horizontally reversed and displayed like a mirror, and an image is taken.
- the information processing apparatus is often turned on. Of course, it is often possible for the user to set it. That is, when the camera 21 is rotated about the rotation axis Z1 by more than about 90 degrees or more than about 90 degrees, the left and right are inverted when the mirror mode is ON.
- FIG. 10D shows a state in which the camera 21 is rotated 180 degrees about the rotation axis Z1 in the horizontal position.
- FIG. 10E shows a state in which the camera 21 is rotated 180 degrees about the rotation axis Z1 and the camera 21 is rotated 45 degrees about the rotation axis Z3 in the horizontal position. In this state, the top and bottom are not inverted, but when the mirror mode is ON, the left and right are inverted.
- FIG. 10F shows a state in which the camera 21 is rotated 180 degrees around the rotation axis Z1 and the camera 21 is rotated 90 degrees around the rotation axis Z3 in the horizontal position. In this state, the upside down switching point is the switching point, and the right and left upside mirror switching mode is the display switching point.
- FIG. 10E shows a state in which the camera 21 is rotated 180 degrees about the rotation axis Z1 and the camera 21 is rotated 45 degrees about the rotation axis Z3 in the horizontal position. In this state, the top and bottom are not inverted, but when the mirror mode is ON, the left and right are inverted.
- FIG. 10F shows a state in which the camera 21 is rotated 180
- 10G shows a state in which the camera 21 is rotated 180 degrees about the rotation axis Z1 and the camera 21 is rotated 180 degrees about the rotation axis Z3 in the horizontal position.
- the upper and lower sides are inverted, and the left and right sides are switched between the stage (C) and the stage (F) and returned to the original state, so that they are not inverted.
- FIG. 11 shows a state in which the information processing apparatus of FIG. 1 is in the vertical position, and information about the top and bottom (top and bottom) when a camera is oriented in a direction different from that of the main body is added to the photograph, and a display method.
- FIG. FIG. 11A shows a common main body posture when the camera 21 is rotated about the rotation axis Z1 and the rotation axis Z3, which is a use state in a vertical position. That is, the display unit 13 is substantially vertical and is directed to the user side, and it is indicated that the subject is present on the back side of the display unit 13 in a positional relationship in which the rear camera can capture an image.
- FIG. 11A shows a common main body posture when the camera 21 is rotated about the rotation axis Z1 and the rotation axis Z3, which is a use state in a vertical position. That is, the display unit 13 is substantially vertical and is directed to the user side, and it is indicated that the subject is present on the back side of the display unit 13 in a
- FIG. 11B shows a usage state similar to that of a normal rear camera in the vertical position, and the same upper and lower (top and bottom) information as that of the main body is added to the photograph.
- FIG. 11C shows a state in which the camera 21 is rotated 90 degrees about the rotation axis Z1 in the vertical position. In such a state, it is a switching point for flipping up and down, and is a switching point for display when the mirror mode for flipping left and right is ON.
- FIG. 11D shows the state in which the camera 21 is rotated 180 degrees about the rotation axis Z1 in the vertical position. In such a state, the upper and lower sides are inverted, and when the mirror mode is ON, the left and right sides are also inverted.
- FIG. 11C shows a usage state similar to that of a normal rear camera in the vertical position, and the same upper and lower (top and bottom) information as that of the main body is added to the photograph.
- FIG. 11C shows a state in which the camera 21 is rotated 90 degrees
- FIG. 11E shows a state in which the camera 21 is rotated 180 degrees around the rotation axis Z1 and the camera 21 is rotated 45 degrees around the rotation axis Z3 in the vertical position. In such a state, the upper and lower sides are inverted, and when the mirror mode is ON, the left and right sides are also inverted.
- FIG. 11F shows a state in which the camera 21 is rotated 180 degrees about the rotation axis Z1 and is rotated 90 degrees about the rotation axis Z3 in the vertical position. In this state, the top and bottom are reversed. Regarding the left and right, if the mirror mode is ON, it is a switching point for reversing.
- FIG. 11E shows a state in which the camera 21 is rotated 180 degrees around the rotation axis Z1 and the camera 21 is rotated 45 degrees around the rotation axis Z3 in the vertical position. In such a state, the upper and lower sides are inverted, and when the mirror mode is ON, the left and right sides are also inverted.
- 11G illustrates a state in which the camera 21 is rotated 180 degrees about the rotation axis Z1 and the camera 21 is rotated 180 degrees about the rotation axis Z3 in the vertical position.
- the upper and lower sides are reversed, and the left and right sides are switched between the stage (C) and the stage (F) for the left and right and returned to the original state.
- the shutter remote controller RC is detachable from the main body of the information processing apparatus 1.
- FIG. 12(A) shows the shutter remote controller RC mounted on the main body.
- the shutter remote controller RC is fixed to the side of the main body so that the shutter button of the shutter remote controller RC can be pressed even when the main body is mounted.
- the part of the shutter remote control RC beyond the buttons may be housed inside the main body.
- the shutter remote controller RC may be supplied with electric power from the main body when the main body is attached to the shutter remote control RC. Further, the shutter remote controller RC may communicate with the main body in a contact type when the main body is attached. As a result, a physical shutter button can be provided in addition to the buttons displayed on the display, which improves usability and operational feeling.
- FIG. 12B shows the shutter remote controller RC removed from the main body. That is, even when the main body is attached, the shutter can be released by pressing the button, and even when the main body is removed from the main body, the shutter can be released remotely by storing electricity in the battery or the capacitor. Further, a microphone may be mounted on the shutter remote controller RC so that a command can be remotely sent to the information processing apparatus 1 by voice.
- FIG. 13 a mirror ML is set in front of a front camera of an information processing device SP having a fixed camera, which is different from the information processing device of FIG. 1, to automatically translate a book and read receipt data.
- FIG. 13A shows a state in which a mirror ML is set in front of the front camera to automatically translate a book.
- FIG. 13B shows an example of an actual reflection image by the mirror ML.
- FIG. 13C shows an example of an imageable range when the mirror ML is set in front of the front camera of the information processing apparatus SP including the fixed camera mounted on the base BS.
- the mirror ML is attached to the front camera of the information processing device SP, the automatic translation reading aloud app for the book of the information processing device SP is activated, and the language of the translation destination is designated.
- the initial setting may be the language of the OS, and this specification may be omitted from the next time onward.
- the front camera when taking a picture with the front camera, if the mirror ML is attached, the image taken by the pronto camera becomes a mirror image. The mode needs to be turned on. Then, if necessary, the captured image is corrected.
- the text is recognized and extracted as a sentence instead of a single character, number or word.
- the content of the text identifies the language described in the book.
- the image recognition by AI and the sentence analysis by AI are performed, and the text misread by OCR is corrected automatically or manually by the user.
- the text data is transmitted to the translation service of the cloud CD, recognizes the original language, translates it into the set language, and instantly transmits the parallel translation data to the information processing device SP.
- the translation service of the cloud CD is used for translation, but in addition to this, the information processing device SP may be translated alone. If necessary, aloud reading data is created from the translated text data.
- the aloud reading data may be created by the cloud CD or may be created by the information processing device SP alone.
- the text of the language of the original book and the text of the translated language are both displayed on the display unit of the information processing device SP, and the reading data is reproduced by the speaker of the information processing device SP.
- the image currently being taken by the front camera may be displayed in a small size. This allows the user to grasp information such as a book being displaced from the front camera in almost real time.
- the text can be corrected by the correction function, and then the text is manually input. This interrupts the translation operation.
- the title of the book is confirmed, it is searched for the same in the database of the existing book and the reference data that has already been converted into an electronic book, and if the previous translation end position is known, the user can use it. May be transmitted to the user through the information processing device SP.
- the page When the page is intentionally shifted from the left page to the right page, this is detected, the page is reloaded, and the series of translation processes described above are repeated to perform translation.
- the reloading of the page may be performed by voice or sound. Further, the reloading of the page may be performed by the button on the screen or the remote controller. Besides this, a part of the translated data may be skipped and the translated electronic book reference data may be used.
- the page and the position within the page may be remembered, and when restarting next time, the page where the translation is stopped may be displayed or read aloud to the user.
- the read-aloud process is almost the same as the translated process, and the text-converted data by OCR is read aloud without being translated.
- the process of reading aloud is the process of translating, omitting only the parts to be translated. Not only for books, but for converting paper into text, it is almost the same, and the texts are displayed by skipping the process of translation and reading aloud.
- data such as receipts understand the input items and automatically enter numbers and text in columns as appropriate items. For example, the amount of receipt, date, address, etc. can be automatically input correctly.
- the mirror ML attached to the information processing device SP is not a normal plane mirror but a wide-angle mirror such as a convex mirror is used, it is possible to take a picture with a wider angle of view, so that the book can be opened with a front camera to take a picture. You can save the trouble of moving to the left and right.
- the height of the stand on which the information processing device SP is placed can be lowered.
- a demerit is that a large amount of distortion is photographed, and thus the captured image may need to be corrected.
- a conventional information processing apparatus for example, a smartphone
- a smartphone when enjoying an AR game while walking outdoors, it is necessary to take a picture of the surrounding area while standing the smartphone vertically, and keep the smartphone vertical while walking. Becomes unnatural and tired.
- AR walking games are not common and are rarely used. Therefore, the pedestrian (A)R game is not often played.
- the display is viewed at an angle that makes it easy to see the image taken by the biaxial rotary camera, the monoaxial rotary camera, or the 360-degree camera. Since the camera can be pointed in the traveling direction while it is held, a game by AR can be played. Therefore, it is possible to cooperate or fight with people who are participating at the same time.
- the game image G1 of the AR in which one game character GC is imaged from behind is displayed on the information processing device 1-1. Then, the information processing apparatus 1-2 displays the AR game image G2 which is taken from the front.
- a sound is emitted by using a plurality of microphones while shooting with a two-axis rotary camera and a one-axis rotary camera. It is a function to electrically point the camera in the direction in which it is pointing. That is, it is possible to provide the function of rotating the camera 21 in conjunction with the sound. It is preferable for the user to place the information processing device 1 on a desk or the like so that the user can confirm to some extent that he/she can shoot.
- FIG. 16A shows a state in which the question paper QP is imaged using the information processing device 1.
- FIG. 16B shows that the information processing apparatus 1 has recognized the problem PQ to be processed from the problems described on the problem paper QP.
- FIG. 16C shows an example of a question image QG in which the AI included in the information processing apparatus 1 gives a hint to the question PQ, for example, drawing an auxiliary line AL of a graphic question.
- a mirror as shown in FIG. 13 may be attached to the front camera to photograph such a problem and give a hint of the problem.
- FIG. 17A is a diagram showing a region surrounded by three points where the information processing device 1 main body and the foldable stand 14 are grounded when the information processing device 1 is self-supporting. That is, when the information processing apparatus 1 is placed on a desk, for example, a triangle is drawn on the surface of the desk, and the apex of the triangle is the apex VA of the tip of the stand 14 in contact with the desk and the main body angle of the information processing apparatus 1.
- FIG. 17B shows the positional relationship between the position of the center of gravity of the main body of the information processing device 1 and the area surrounded by three ground points when the information processing device 1 is self-standing when viewed from directly above.
- a foldable stand 14 is provided in consideration of the fact that the center of gravity G of the main body of the information processing apparatus 1 is lowered far away.
- the information processing device 1 it becomes possible to stabilize the information processing device 1 when it is self-supporting.
- the number of contact points between the stand and the desk is not one as in FIG. 17A, but there are a plurality of contact points, for example, two contact points, the vertex VB of the body angle of the information processing apparatus 1 and the information processing apparatus.
- the center of gravity G of the main body of the information processing apparatus 1 when looking down from directly above is included in a quadrangle composed of four points including the two points of the vertex VC of the body angle of 1, the information processing apparatus 1 is It becomes possible to stabilize more when it becomes independent.
- the conventional information processing apparatus does not have a function of finding a photograph taken at the same or a close position from photographs taken in the past based on the information on the position where the photograph is to be taken.
- the information processing apparatus 1 of the present invention as shown in FIG. 27, the existence of a past photograph taken at the same location is taught and the photograph is displayed. By doing so, the user can take, for example, the same pose as a picture taken at this place with children in the past, and the information processing apparatus 1 can display the information side by side.
- the information processing device 1 may limit the functions by setting the home or the like as the non-display area. By doing so, the information processing device 1 can prevent a large number of photographs from being applied.
- FIG. 18(A) shows an example of a message MS that teaches the existence of a past photograph OP taken at the same location.
- FIG. 18B shows a display example of a small window display of a past photo OP taken at the same location and a display of a semi-transparent button HB for superimposing and displaying a semi-transparent image on a camera image.
- FIG. 18C shows an example of a superimposed display of a semi-transparent image of a past photograph OP taken at the same location and a camera-captured image.
- the information processing apparatus 1 of the present invention when searching for unknown words or food names, there is no choice but to search from text or photo information, and it is easy to find the corresponding photo on the web based on the searched location. Was not.
- the information processing apparatus 1 of the present invention as shown in FIG. 28, for example, when the restaurant menu MN is photographed and the food name OW in the photographed image is traced, only the translated text TW is displayed. Rather, the application software for displaying the corresponding food image photograph IM taken in the same area from the search position information of GPS or Wi-Fi (registered trademark) is provided. This allows highly accurate photo search. Further, when the food name OW is derived from the place name, the information processing device 1 displays the map MP and the place name PW that display the corresponding point.
- FIG. 20 is a diagram showing each state in which the shape is changed in the case where the information processing device 1 includes the slide type rotary camera. That is, the main body is a slide movable part including at least two parts: a front side including the display section 13 and a rear side of the main body section 11 including the camera base section 12-1 of the rotary camera 21 and the camera directing section 12-2. The respective states in the configured information processing device 1 are shown.
- FIG. 20(A) is a diagram showing a state in which two slide movable portions are maximally overlapped.
- FIG. 20B is a diagram showing a state in which the two slide movable portions are slid to the maximum extent.
- reference symbol P indicates the direction of rotation of the camera directing unit 12-2 (rotary camera 21).
- FIG. 20C is a diagram showing a state in which the rotary camera 21 is rotated by maximally sliding the two slide movable parts.
- An information processing device 1 including a slide-type rotary camera includes: an image capturing unit that captures an image of a subject; a display unit that overlaps the image capturing unit in the thickness direction and displays a captured image that includes the subject captured by the image capturing unit; While supporting the image pickup unit by a first rotation axis parallel to the lateral direction of the display unit so as to change the angle between the optical axis direction of the image pickup unit and the direction normal to the display unit.
- a hinge portion that supports the main body portion so as to be rotatable relative to the main body portion.
- the imaging unit is relatively movable in parallel to the display unit from a position where the first rotation axis overlaps the display unit in the thickness direction to a position where the first rotation shaft does not overlap.
- the rotary camera 21 has a movable range of 0° to 270°, and more.
- 0° is a state in which the rotary camera 21 is housed in the groove or cutout portion of the main body portion 11 (a state in which the rotary camera 21 and the main body portion 11 overlap each other in the thickness direction).
- 180° is a state in which the rotary cameras 21 are linearly arranged outside the main body 11. When it exceeds 180°, the rotary camera 21 projects to the front surface 11a side of the main body portion 11, and at 270°, the optical axis of the rotary camera 21 faces directly below the main body portion 11.
- the information processing apparatus 1 can have a design in which the screen occupancy of the display unit 13 is maximized and a cutout for the rotary camera is not formed.
- the camera may be automatically rotated when the display unit 13 is slid by a manual operation with a hand or an electric operation such as pressing a button. This may be performed by a torsion coil spring or electric rotation by a motor.
- FIG. 21 is a diagram showing the structure of the biaxial rotation mechanism portion of the information processing device 1 of FIG.
- FIG. 21A is a diagram showing a housing of the biaxial rotation mechanism unit.
- FIG. 21B is a diagram showing a case where a biaxial hinge is used as the biaxial rotation mechanism section.
- FIG. 21C is a diagram showing a configuration example in which a hinge mechanism including a rotation axis is provided in the housing itself as a biaxial rotation mechanism section.
- the information processing device 1 includes an imaging unit that images a subject, and the subject that overlaps the imaging unit in the thickness direction and that is imaged by the imaging unit.
- a display unit that displays a captured image, and a first unit that is parallel to the lateral direction of the display unit so as to change an angle formed by an optical axis direction of the imaging unit and a normal line direction to the display unit.
- a hinge portion that supports the main body portion so as to be rotatable relative to the main body portion while supporting both ends by the rotation shaft.
- the imaging unit is relatively movable in parallel to the display unit from a position where the first rotation axis overlaps the display unit in the thickness direction to a position where the first rotation shaft does not overlap.
- the imaging unit drives the hinge unit to rotate the imaging unit, and a control unit controls the driving unit to rotate the imaging unit in a designated direction in response to a movement instruction to the imaging unit.
- Including and The image pickup unit is rotatable about a second rotation axis parallel to the longitudinal direction of the display unit.
- the imaging unit is rotatable about the second rotation shaft at a position where it does not overlap the display unit in the thickness direction.
- the display unit includes a touch panel for performing the movement instruction by a touch operation.
- the hinge portion includes a first rotation shaft arranged parallel to the lateral direction of the display unit and a second rotation shaft arranged parallel to the longitudinal direction of the display unit.
- the first rotation shaft is configured so as not to rotate according to the rotation of the image pickup unit when the image pickup unit is rotated about the second rotation shaft.
- a motor that drives the biaxial rotation mechanism unit, a controller that controls the motor according to a screen operation of a user, and a remote operation are provided in the housing.
- the CPU of the information processing device 1 may be controlled.
- a method of realizing wiring such as providing a cavity penetrating in the axial direction inside the rotating shafts HS1 and HS3 to pass an FPC therein, or winding the FPC around the rotating shafts HS1 and HS3 is conceivable. By doing so, the information processing apparatus 1 can reduce the size of the biaxial rotation mechanism unit as compared with the case where the biaxial hinge is used.
- FIG. 22 is a diagram showing each state in which the shape is changed when the rotary camera is provided in the cutout portion of the display unit of the information processing apparatus of FIG. 1.
- FIG. 22A is a diagram showing a state in which the camera is a rear camera.
- FIG. 22B is a diagram showing a state in which the camera is rotated.
- the information processing apparatus 1 of FIG. 22 is provided with a cutout (a so-called notch) in a part of the display unit 13, and the rotary camera is provided in the cutout. By doing so, it is possible to rotate the camera base portion 12-1 and the camera directing portion 12-2 by 180 degrees or more while maximizing the screen occupancy ratio of the display unit 13 with respect to the main body.
- the cloud CD is a server equipped with an AI translation function, an aloud reading data generation function, and the like.
- an information processing device SP and a cloud CD are connected via a network. Information is exchanged between the information processing device SP and the cloud CD.
- the information processing device SP transmits a request for translation or aloud reading processing including an image captured by the front camera to the cloud CD, and receives a response including text data or aloud reading data as a result of processing the request with the cloud CD. To do.
- the information processing device SP includes a wireless communication unit, a CPU, a memory, a display unit, a speaker, a microphone, an imaging unit including a camera, and the like in the device body.
- the wireless communication unit communicates with other information processing devices (other smartphones, cloud CD servers, etc.) through a mobile communication network, a wireless LAN, or the like.
- Software of application software (hereinafter referred to as “automatic translation reading aloud application”) that executes translation and reading aloud is installed in the memory. Realize the function.
- the CPU that has read the automatic translation aloud reading application transmits a captured image obtained by capturing an image of the book to the cloud CD via a mirror ML that refracts the optical axis direction of the image capturing unit and is separate from the device body
- the cloud CD functions as a control unit that receives text data corresponding to a character string generated based on a captured image and displays the text data on the display unit of the apparatus body.
- the automatic translation aloud reading application is used in the information processing device SP that includes a camera that captures an image of a book in which sentences are described, and a display unit that can display a captured image captured by the camera, text data, and the like.
- the text may be written vertically.
- the automatic translation aloud reading application causes an image pickup unit mounted on the device body to refract the optical axis direction of the image pickup unit, and causes a recording medium on which a character string is arranged to be photographed via a mirror ML separate from the device body
- the steps, the step of transmitting the captured image to the cloud CD, the step of generating text data corresponding to the character string based on the captured image, and the step of displaying the text data on the display unit of the information processing device are executed. It is a computer program. More specifically, the automatic translation sound reading application causes the camera of the image capturing unit to capture an image of a book in which sentences are described from the direction of the optical axis that is refracted through the mirror ML attached to the body of the information processing device.
- the captured image is sent to the cloud CD, the cloud CD receives the text data corresponding to the sentence generated based on the captured image, and the received text data and the captured image captured by the camera of the imaging unit in almost real time. And has a function of displaying a UI screen for presenting both and on the display unit.
- the text may be written vertically or horizontally.
- this automatic translation reading application has an image correction function of correcting the captured image into an image suitable for generating text data on the cloud CD.
- the automatic translation voice reading application has a processing function of performing at least one of translation and voice reading of text data.
- the automatic translation reading app has a combining function of combining with another part of the captured image or the text data obtained from the next captured image to complete one sentence.
- the automatic translation reading aloud application is installed in the information processing apparatus SP shown in FIG. 13 to realize functions such as translation and reading aloud. It may be installed to realize functions such as translation and reading aloud.
- the information processing apparatus 1 includes a rotary camera 21 that captures a book in which sentences are described, and a display unit that can display a captured image captured by the rotary camera 21, text data, and the like, as illustrated in FIGS. 20 to 22. 13 and 13.
- the rotary camera 21 of the information processing apparatus 1 is rotatably supported by a rotation mechanism so that the optical axis thereof faces from the back side of the main body 11 of the information processing apparatus 1 to the front side where text data is presented.
- Such an automatic translation aloud reading application installed in the information processing device 1 sends a photograph of a book in which sentences are described to the cloud, so that the cloud corresponds to the character string generated based on the captured image. It has a presentation function of receiving the text data to be displayed and presenting the received text data and a captured image captured by the rotating camera in substantially real time together. Further, the presenting function of this automatic translation reading app is associated with the past text data or the barcode information in a predetermined manner from the text data of the medium in which the character string is arranged or the barcode information described in the medium. The reference data is displayed and the reference data is presented.
- the auto-translation reading aloud application allows the captured image sent to the cloud to be flipped horizontally, upside down, rotated, correcting the curvature of the medium part where the character string is placed, correcting the keystone of the medium part where the character string is placed, and contrasting.
- a cutout of only the medium portion in which the character string is arranged, and a deletion of the image of the finger that has been reflected have a correction function of performing at least one image correction.
- the automatic translation aloud reading application is activated by the user clicking an icon displayed on the screen of the information processing device SP, and the user interface 31 (hereinafter referred to as “UI31”) shown in FIG. 23 is displayed on the screen of the display unit. Is displayed.
- the UI 31 is provided with a display area 32, a display area 33, a language designation section 34, a captured image display area 35, correction buttons 36 and 37, scroll bars S1 and S2, and the like.
- the display area 32 is an area in which the translation source text obtained by the character recognition processing (OCR) of the captured image is folded and displayed at the screen edge in the row direction (horizontal direction).
- the display area 33 is an area in which the text obtained by translating (converting) the translation source text into the translation destination language is displayed folded back in the row direction (horizontal direction) at the screen edge.
- the language designation unit 34 is a unit for designating a translation source language and a translation destination language, and is provided with a pull-down menu for designating the translation source language and a pull-down menu for designating the translation destination language.
- the captured image display area 35 is an area in which a captured image captured by the front camera is displayed in real time, and the captured image is displayed in a reduced size.
- the scroll bar S1 is for scroll-displaying the text of the line exceeding the display area 32 in the longitudinal direction of the screen by the user's operation.
- the scroll bar S2 is for scroll-displaying the text of the line exceeding the display area 33 in the longitudinal direction of the screen by the user's operation.
- each function is operated by selecting either translation or aloud reading from the UI 31 with a function selection button.
- the cloud CD is, for example, a server that performs a translation or aloud reading process, receives a request for image processing including an image from the automatic translation aloud reading application of the information processing device SP, performs a translation process and an aloud reading process, and responds to the request.
- the text data and the aloud reading data of the translation result and the aloud reading result are returned to the automatic translation aloud reading application of the information processing device SP.
- FIGS. 24 and 25 are example flowcharts showing a process of translation and aloud in a system including the information processing device SP and the cloud CD.
- the mirror ML is attached to the apparatus main body so as to correspond to the front camera.
- the user sets the book in which the page to be read is opened on the reading table (see FIG. 13C), and in step S102, clicks the icon of the information processing device SP to activate the automatic translation reading aloud application.
- the UI 31 is displayed on the display unit.
- step S103 when the user selects and specifies the translation source language and the translation destination language from the pull-down menu of the language designation unit 34 of the UI 31, the automatic translation reading app starts the front camera, and in step S104, the front camera reads the target.
- An image of a page including the title of the book is captured.
- the translation source language and the translation destination language may be set in advance to a predetermined language (for example, “Japanese” or “English”) as a prescribed value. You may judge automatically.
- the image including the page captured by the front camera is reduced and displayed in the captured image display area 35 at the top of the UI 31 while maintaining the angle of view (aspect ratio). In the captured image display area 35, it can be confirmed whether the page of the book is displaced from the captured area 35 of the front camera.
- the user By confirming the captured image in the captured image display area 35, the user adjusts the position of the book or the position of the entire information processing device SP so that the entire page to be read of the book is included in the captured image display area 35, and the imaging range is adjusted. Adjust.
- the automatic translation voice reading application transmits the imaged image picked up in the adjusted image pickup range to the cloud CD.
- the server laterally inverts, vertically inverts, rotates, corrects the curvature of the medium portion in which the character string is arranged, and corrects the captured image received from the automatic translation reading application of the information processing device SP.
- step S106 the server extracts text data (hereinafter referred to as "text") by recognizing characters from the captured image whose orientation has been corrected. Character recognition is called OCR.
- step S107 the server determines the language of the characters described in the book from the extracted text.
- step S108 the server corrects the text based on the determined language of the character, if necessary.
- “As needed” means, for example, that there are many characters that are easily misread and unrecognized characters and the character recognition rate is lower than a certain value. In addition, the title and page number of the book or chapter is not included in the text, and if the ruby (reading) is given to the kanji, it will not be taken in duplicate.
- the server translates the text into the designated language by the AI translation function.
- the server uses the read-aloud data creation function to generate read-aloud data from the translated text, and sends the processing result data to the information processing device SP.
- the processing result data is generated aloud reading data, text before translation, text after translation, and the like.
- the aloud reading data is text data to which attribute data (punctuation marks, accent data, ruby, etc.) is added as a unit of text of aloud text.
- the automatic translation reading aloud application of the information processing device SP Upon receiving the processing result data from the server, the automatic translation reading aloud application of the information processing device SP displays the received processing result data on the UI 31 of the display unit and performs reading aloud in step S111.
- the display area 32 displays text in the source language (source language)
- the display area 33 displays text in the translated language (translated language).
- the aloud reading function of the automatic translation aloud reading application reads aloud the received aloud reading data of the translated text and outputs a voice from the speaker.
- the user clicks the correction button 36 or the correction button 37 in step S112 the editing function becomes effective and the correction button 36 is activated.
- the text in the display area (display area 32 or display area 33) corresponding to the correction button 37 can be edited, the text in the display area is manually corrected (manual input) in step S113.
- the cloud CD server extracts the title of the book from the text before translation in step S114. Then, in step S115, the server, based on the extracted title (title) of the book and the language described in the book, the database of the published book or the translated electronic book reference data stored in the memory in advance.
- the title (title) of the existing book with which the content of the book matches is specified, and the title is notified to the information processing apparatus SP.
- the matching when the titles of the existing books do not match, the fact is notified to the automatic translation reading aloud application of the information processing device SP.
- the automatic translation reading aloud application when the server notifies that the existing book title matches, the automatic translation reading aloud application sends data including the text of the book based on the existing book title. If the end position of the last translated page is held in step S116, the text is displayed and read aloud from the published book database or memory, the Internet book site, or the like. On the other hand, when the notification that the titles of the existing books do not match is received from the server, the automatic translation sound reading application captures the next page of the page translated immediately before in step S117, and captures the captured image. Send to cloud CD.
- the server performs the same processing as steps S105 to S108 in steps S118 to S121. Then, in step S122, the server confirms the presence or absence of the text of the page that has not been completed as a sentence on the previous page (hereinafter referred to as “incomplete sentence”). One sentence is completed by connecting the text and the newly read text. In the case of Japanese, the character string forming the text is connected to at least the part where the punctuation mark “.” is provided. Then, in step S123, the server matches the content of the existing book (published book, etc.) with the content of the book by referring to the database of the published book, reference data, etc. based on the sentence of one sentence and the language described in the book.
- step S124 the server translates the text into the designated language by the AI translation function, as in step S109.
- step S125 the server uses the read-aloud data creation function to generate read-aloud data from the translated text, and sends the processing result data to the automatic translation read-aloud application of the information processing device SP.
- the automatic translation reading aloud application of the information processing device SP Upon receiving the processing result data from the server, the automatic translation reading aloud application of the information processing device SP displays the received processing result data on the UI 31 of the display unit and reads aloud in step S126. If there is an error in the text before and after the translation displayed on the UI 31, the text is corrected in steps S127 and S128 as in steps S112 and S113. If there is no mistake in the text before and after the translation and there is a next translated page (Yes in step S129), the user flips through the pages of the book and causes the flipped pages to be imaged. As for the presence/absence of the next translated page, the presence/absence of a page adjacent to the captured image may be detected, or it may be detected whether or not a new page is turned by the user. Further, when the image of the book for two pages is included in the captured image, the automatic-translated-sound reading application cuts out the image of the next next page from the captured image, transmits the image to the server, and proceeds to
- step S129 If there is no next translation page in step S129 (No in step S129), a notification of translation completion is transmitted to the cloud CD.
- the server stores the translation end position of the text in response to the translation end notification received from the automatic translation aloud reading application of the information processing device SP, and ends the server side translation and aloud reading processing in step S130.
- the automatic translation aloud reading application of the information processing apparatus SP that operates in this manner, when the information processing apparatus SP with the mirror ML attached is set on the base BS and the book with the opened page is imaged by the front camera, the imaged page is captured.
- the image capturing range of the book can be aligned while checking the captured image of the captured image display area 35, and the page of the book can be captured in the correct image capturing range. You can As a result, the pages are not cut off, and it is possible to reduce mistakes when translating and reading aloud the text read from the book by the information processing apparatus SP. Further, according to the information processing device SP, the captured image of the page of the book is subjected to character recognition processing to extract the text, and the texts of the pages straddling each other are concatenated to make one sentence into an automatic translation reading aloud application of the information processing device SP.
- the captured image display area 35 is provided above the UI 31 in the above operation example, the captured image display area 35 is not limited to this example, and may be displayed somewhere in the UI 31 before or after translation. Should be displayed small.
- the text is extracted, if the sentence is cut off in the middle, the text that is cut off is not translated or read aloud on that page, and the next page is scanned into one sentence. After that, you may translate or read aloud.
- someone who once scanned the book that read the image, and the text data of the book or data such as an electronic book has already been stored in the memory, etc., translate and read aloud from the information in that memory.
- each page of a book is photographed as a still image without pressing the shutter one by one, and the pages are flipped or the captured image is greatly changed.
- the page taken by the camera.
- the page is reloaded, and the series of translation processes described above are repeated to perform translation.
- the reloading of the page may be performed by voice or sound. Further, the reloading of the page may be performed by the button on the screen or the remote controller. Besides this, a part of the translated data may be skipped and the translated electronic book reference data may be used.
- the page and the position within the page may be remembered, and when restarting next time, the page where the translation is stopped may be displayed or read aloud to the user.
- FIG. 26 is a diagram showing a UI of the sound reading function. 26, the same components as those in FIG. 23 are designated by the same reference numerals and the description thereof will be omitted.
- the UI 31 of the aloud reading function has a wide display area 32, and does not have the translated text display area 33 shown in FIG.
- the language designation section 34 is provided with only one pull-down menu for designating the text language.
- FIGS. 27 and 28 are flowcharts showing a process of reading aloud in a system including the information processing device SP and the cloud CD.
- the mirror ML is attached to the apparatus main body so as to correspond to the front camera.
- the user sets the book in which the page to be read is opened on the reading table BS (see FIG. 13C), clicks the icon of the information processing device SP in step S202, and activates the automatic reading application, As a result, the UI 31 is displayed on the display unit.
- the automatic reading application activates the front camera, and in step S204, a page including the title of the book to be read by the front camera is displayed. An image is taken.
- a predetermined language for example, “Japanese”, “English”, etc.
- the aloud language may be automatically determined in S207 described below.
- the image including the page captured by the front camera is reduced and displayed in the captured image display area 35 at the top of the UI 31 while maintaining the angle of view (aspect ratio).
- the captured image display area 35 it can be confirmed whether the page of the book is displaced from the captured area 35 of the front camera.
- the user adjusts the position of the book or the position of the entire information processing device SP so that the entire page to be read of the book is included in the captured image display area 35, and the imaging range is adjusted. Adjust.
- the automatic sound reading application transmits the captured image captured in the adjusted imaging range to the cloud CD.
- step S205 in the cloud CD, the server laterally inverts, vertically inverts, rotates, corrects the curvature of the medium portion in which the character string is arranged, the character string, and the character string with respect to the captured image received from the automatic sound reading application of the information processing device SP. Width of one page of this book is corrected by keystone correction, contrast adjustment of the media part where is placed Or the position of a character string is detected.
- step S206 the server extracts the text by recognizing the character from the captured image whose orientation has been corrected. The process of recognizing characters from an image is called OCR.
- step S207 the server determines the language (written language) of the characters written in the book from the extracted text.
- step S208 the server corrects the text based on the determined language of the character, if necessary. “As needed” means, for example, that there are many misread characters or unrecognized characters and the character recognition rate is lower than a certain value. In addition, the title and page number of the book or chapter is not included in the text, and if the ruby (reading) is given to the kanji, it will not be taken in duplicate.
- step S209 the server uses the read-aloud data creation function to generate the read-aloud data from the extracted text, and sends the data of the processing result to the information processing device SP.
- the processing result data is generated aloud reading data, text, and the like.
- the aloud reading data is text data to which attribute data (punctuation marks, accent data, ruby, etc.) is added as a unit of text of aloud text.
- the automatic reading application of the information processing device SP When the automatic reading application of the information processing device SP receives the processing result data from the server, in step S210, the automatic reading application displays the received processing result data on the UI 31 of the display unit and performs reading aloud. In the UI 31, a text in aloud reading language is displayed in the display area 32.
- the aloud reading function of the automatic aloud reading application aloud the received aloud reading data of the translated text, and outputs a voice from the speaker of the information processing device SP.
- the user clicks the correction button 36 in step S211 the editing function becomes effective and the text in the display area 32 becomes editable.
- step S212 the text in the display area 32 is manually corrected (manual input). After modification, the text is sent to the server to generate aloud data at step 209. On the other hand, if there is no mistake in the read-aloud content or the text, the user clicks the confirm button (not shown) of the UI 31 to notify the cloud CD that the read-aloud content is confirmed. Even if the confirm button is not pressed, it can be considered that the correction has been made and the confirmation has been made as long as the correction button is not pressed.
- the server of the cloud CD which has received the notification from the automatic reading application of the information processing device SP, extracts the title of the book from the recognized text in step S213. Then, in step S214, the server refers to the database of published books, reference data stored in advance in memory, or the like, based on the extracted title (title) of the book and the description language of the book, and the contents of the existing book.
- the title (title) of an existing book that matches the content of the text (the text) is specified, and it is notified to the automatic reading application of the information processing device SP.
- the matching when the titles of the existing books do not match, the fact is notified to the automatic reading application of the information processing device SP.
- the automatic sound reading application when the server notifies that the existing book title matches, the automatic sound reading application converts the book data into a database of published books or a book based on the existing book title. If the end position of the page read immediately before is acquired in step S215 by acquiring it from a memory, an Internet book site, or the like, the text is displayed and read aloud from that position. Further, when the notification that the titles of the existing books do not match is received from the server, the automatic sound reading application, in step S216, images the next page of the page read immediately before and captures the captured image in the cloud. Send to CD.
- the server performs the same processing as steps S205 to S208 in steps S217 to S220. Then, in step S221, the server confirms the presence or absence of the text of the page that has not been completed as a sentence on the previous page (hereinafter referred to as “incomplete sentence”). One sentence is completed by connecting the text and the newly read text. In the case of Japanese, the character string forming the text is connected to at least the part where the punctuation mark “.” is provided.
- step S222 the server matches the content of the book with the existing book (published book, etc.) by referring to the database of the published book, reference data, etc. based on the sentence of one sentence and the language described in the book. If the data match each other, that is, if the data can be matched, the data including the text of the book is acquired.
- step S223 the server generates aloud reading data from the character-recognized text by the aural reading data creation function, and transmits the processing result data to the automatic aloud reading application of the information processing device SP, as in step S209.
- step S224 the automatic reading application displays the received processing result data on the UI 31 of the display unit and performs reading aloud. If there is an error in the text displayed on the UI 31, the text is corrected in steps S225 and S226 as in steps S211 and S212. If the read text is correct and there is a next translated page (Yes in step S227), in step S228, the user flips through the pages of the book and captures the flipped page on the automatic reading application of the information processing device SP.
- the presence/absence of an adjacent page of the captured image may be detected, or it may be detected whether or not the user has turned a new page.
- the automatic sound reading application cuts out the image of the next next page from the captured image, transmits the image to the server, and proceeds to step S217.
- step S227 if there is no next sound reading page (No in step S227), a notification of the end of sound reading is transmitted to the cloud CD.
- the server stores the read-aloud data and the read-aloud end position of the text in step S229 by the notification of the read-aloud end received from the automatic read-aloud application of the information processing device SP, and in step S230, the server-side read-aloud processing To finish.
- the automatic sound reading application of the information processing apparatus SP that operates in this way, when the information processing apparatus SP with the mirror ML attached is set on the base BS and a book with a page opened is imaged by the front camera, Since the captured image is displayed in the captured image display area 35 of the UI 31, the image capturing range of the book can be aligned while checking the captured image of the captured image display area 35, and the page of the book can be captured in the correct image capturing range. it can. As a result, the pages are not cut off and the like, and it is possible to reduce reading mistakes when the text read from the book is read aloud by the automatic reading application of the information processing device SP.
- the captured image of the page of the book is subjected to character recognition processing to extract the text, and the text of the pages straddling each other is concatenated into one text into the information processing apparatus SP.
- the UI 31 is displayed in the display area 32, so that it is possible to digitize a paper medium book in a short working time.
- an existing book is specified based on the extracted text and the data of the existing book is acquired, so that the whole sentence is misread as compared with the OCR reading aloud. There is no unread, and you can read the book aloud smoothly.
- step S301 of FIG. 29 the mirror ML is attached to the apparatus main body so as to correspond to the front camera.
- the user sets the book in which the page to be read is opened on the reading table (see FIG. 13C), and in step S302, clicks the icon of the text conversion function of the information processing device SP to start the automatic text conversion application.
- step S303 when the user specifies a text language from the pull-down menu of the language designation unit 34 of the UI 31, the automatic text conversion application activates the front camera, and in step S304, includes the title of the book to be read by the front camera. An image of the page is captured.
- the text language may be set in advance as a predetermined value (for example, "Japanese” or "English"), and in this case, it is not necessary to specify the text language as the default setting. ..
- the text language may be automatically determined by the process of step S307 described later.
- the image including the page captured by the front camera is reduced and displayed in the captured image display area 35 at the top of the UI 31 while maintaining the angle of view (aspect ratio).
- the captured image display area 35 it can be confirmed whether the page of the book is displaced from the captured area 35 of the front camera.
- the user adjusts the position of the book or the position of the entire information processing device SP so that the entire page to be read of the book is included in the captured image display area 35, and the imaging range is adjusted. Adjust.
- the automatic text conversion application transmits the captured image captured in the adjusted imaging range to the cloud CD.
- step S305 in the cloud CD, the server has rotated the document, corrected the curvature, corrected the keystone, adjusted the contrast, cut out only the main portion, and reflected the image from the captured image received from the automatic text conversion application of the information processing apparatus SP.
- the image is corrected such as deleting the image of the finger, and the width of one page of the book and the position of the character string are detected.
- step S306 the server extracts the text by recognizing the character from the captured image whose orientation and the like have been corrected. The process of recognizing characters from an image is called OCR.
- step S307 the server determines the language (written language) of the characters written in the book from the extracted text.
- step S308 the server corrects the text based on the determined language of the character, if necessary. “As needed” means, for example, that there are many misread characters or unrecognized characters and the character recognition rate is lower than a certain value. In addition, the title and page number of the book or chapter is not included in the text, and if the ruby (reading) is given to the kanji, it will not be taken in duplicate.
- the automatic text conversion application when the text is received from the server, in step S309, the automatic text conversion application displays the received processing result data on the UI 31 of the display unit.
- the text in the text language is displayed in the display area 32 of the UI 31.
- step S310 when the user clicks the correction button 36, the editing function becomes effective and the text in the display area 32 becomes editable.
- step S311 the text in the display area 32 is manually corrected (manual input). After modification, the text is sent to the server.
- the confirm button not shown
- the confirm button not shown
- step S312 the server of the cloud CD that has received the notification from the automatic text-to-text conversion application of the information processing apparatus SP describes the title and title of the book from the text modified by the information processing apparatus SP or the text converted by the server. Extract the language. Then, in step S313, the server refers to the published book database or reference data stored in the memory in advance based on the extracted book title (title) and the book description language, and the contents of the existing book. The title (title) of the existing book that matches the (text) and the content of the book is specified, and the information processing device SP is notified of the title (title) of the specified book and the description language. As a result of the matching, when the titles of the existing books do not match, the fact is notified to the automatic text-forming application of the information processing apparatus SP.
- the automatic text conversion application of the information processing device SP when there is a notification of the existing book title (title) and the language described in the book from the server, the automatic text conversion application changes the existing book title (title) and book Based on the described language, the book data is acquired from a database or memory of a published book, an Internet book site, or the like, and in step S314, if the end position of the page converted to text immediately before is held, from that position Display text.
- the automatic text-to-text application of the information processing device SP receives a notification from the server that the titles of the existing books do not match, the automatic text-to-text application advances the text conversion of the book, so in step S315. , The page next to the page read immediately before is captured, and the captured image captured is transmitted to the cloud CD.
- the server performs the same processes as steps S305 to S308 in steps S316 to S319. Then, in step S320, the server refers to a database of published books, reference data stored in advance in memory, or the like based on the written language and text of the book, and a book with an existing book (published book, etc.). If the data matches each other and the data match each other, that is, if the data can be matched, the data including the text of the book is acquired from the database or the memory of the published book. After that, the server transmits the acquired text to the automatic text application of the information processing device SP.
- the automatic text-to-text application of the information processing device SP Upon receiving the text from the server, the automatic text-to-text application of the information processing device SP displays the text on the UI 31 of the display unit in step S321. If there is an error in the text displayed on the UI 31, the text is corrected in steps S322 and S323 as in steps S311 and S312. If there is no mistake in the displayed text and there is a next textified page in step S324 (Yes in step S324), the user turns the pages of the book and transfers the turned pages to the information processing device SP in step S325. Take an image. Regarding the presence/absence of the next read-aloud page, the presence/absence of an adjacent page of the captured image may be detected, or it may be detected whether or not the user has turned a new page.
- step S324 if there is no next page to be textified (No in step S324), a notification of textification end is transmitted to the cloud CD.
- the server stores the end position of the text in step S326 according to the notification of the end of textification received from the information processing device SP, and ends the textification process on the server side in step S327.
- the information processing apparatus SP having the text-forming function that operates in this manner, when the information processing apparatus SP with the mirror ML attached is set on the base BS and the book with the opened page is imaged by the front camera, the imaged page is captured. Since the captured image of is displayed in the captured image display area 35 of the UI 31, the image capturing range of the book can be aligned while checking the captured image of the captured image display area 35, and the page of the book can be captured in the correct image capturing range. You can As a result, pages are not cut off, and mistakes when converting a book into text can be reduced.
- the captured image of the page of the book is subjected to character recognition processing to extract text, and the text is taken into the automatic text-forming application of the information processing apparatus SP and displayed in the display area 32 of the UI 31. Since the information is displayed, it is possible to digitize a paper medium book in a short working time. Furthermore, according to the automatic text-to-text application of the information processing device SP, an existing book is specified based on the extracted text and the data of the existing book is acquired. Unread can be eliminated, and the accuracy of text conversion of books can be improved.
- the mirror ML is set in the information processing device SP including the fixed camera illustrated in FIG. 13
- the present invention can also be applied to the information processing apparatus 1 shown in FIG. 4 and the information processing apparatus 1 having a slide type rotary camera shown in FIGS. 20 and 21.
- the display unit is slid to raise the information processing apparatus 1 as necessary.
- the rotary camera can be set on the base BS and the rotary camera can be rotated forward from the rear side of the information processing apparatus 1 to direct the optical axis of the rotary camera downward, the page to be read can be widened without attaching the mirror ML. It becomes possible to read a book. There is no need for a mirror mode that flips left and right. However, upside down may be necessary depending on the shooting settings. Needless to say, the above-mentioned translation function, aloud reading function, and text conversion function can also be applied to the information processing apparatus 1 including a rotary camera shown in FIG.
- FIGS. 31 and 32 are diagrams showing other embodiments of the information processing apparatus SP.
- the front camera FC is mounted on the upper end portion of the information processing apparatus main body SP1.
- the information processing device body SP1 has a predetermined thickness T1.
- a mirror unit MU is attached to the information processing apparatus main body SP1 so as to cover the front camera FC.
- a groove MZ is provided in the mirror unit MU. In the drawing, the right side of the groove MZ is the supporting portion MU1 and the left side is the reflecting portion MU2.
- the inside of the reflection unit MU2 has an inclined wall surface and a wall surface that covers the left and right ends thereof, and is opened downward and laterally on the information processing apparatus main body SP1 side.
- the mirror ML is arranged so as to be inclined in the optical axis direction of the front camera FC of the information processing apparatus body SP1, and the lower surface ( On the surface on which the table BS is placed), the book placed with the page open can be imaged by the front camera FC by the mirror ML.
- the groove MZ of the mirror unit MU is provided with a width wider than the thickness T1 of the information processing device main body SP1. Therefore, when the mirror unit MU is attached to the information processing device main body SP1, a gap is opened.
- An attachment AT1 is arranged between the information processing apparatus body SP1 and the groove MZ of the information processing mirror unit MU so as to fill this gap.
- the attachment AT1 closes the gap between the information processing mirror unit MU and the groove MZ of the information processing mirror main unit SP1 and fixes the information processing mirror unit MU to the information processing mirror main unit SP1.
- an attachment AT2 thinner than the attachment AT1 shown in FIG. 31 is prepared.
- the mirror unit MU can be firmly fixed to the information processing device main bodies SP1 and SP2. That is, by preparing the attachments AT1 and AT2 according to the thicknesses T1 and T2 of the information processing device bodies SP1 and SP2, the mirror unit MU can be attached to the information processing devices SP of various thicknesses to read a book. Become.
- the present invention is not limited to the above-described embodiments, and modifications, improvements, and the like including omissions within the range in which the object of the present invention can be achieved are included in the present invention.
- matching with the content (text) of an existing book does not necessarily have to be performed. Even if the matching is performed, the matching may be achieved by shooting the barcode of the book instead of shooting the title of the book.
- the present invention is not limited to this, and the same applies to conversion of a paper recording medium including a book such as a magazine into text. Paper recording media are called paper sheets. In addition to paper sheets, the conversion of texts, such as electronic books, similar to those displayed on paper, is almost the same.
- the translation and aloud reading processes are performed. However, these processes may be skipped and the text extracted from the captured image and the captured image may be displayed together on the UI 31.
- register the format data (format) for inputting the data such as the receipt in the memory and input the text including the number in the column (input item) of the format.
- the connecting portion 12 is composed of two movable portions, that is, the camera base portion 12-1 and the camera directing portion 12-2.
- the connecting portion 12 is not particularly limited to the above-described embodiment, and the main body portion is not limited thereto. It suffices to have one or more movable parts having a volume smaller than 11. In this case, it suffices that the camera 21, which is the image pickup unit, be arranged on one predetermined surface of one or more movable parts. Further, a device having an arbitrary function can be mounted on an arbitrary number of arbitrary types of movable parts (including the movable part in which the imaging unit is arranged) of one or more movable parts.
- the information processing apparatus 1 of the present invention may be used as an infrared remote controller (remote controller).
- remote controller remote controller
- the information processing apparatus 1 of the present invention when a camera captures a remote control, image recognition is performed and each button function is realized by a display and a touch panel of the information processing apparatus.
- the device may issue an infrared command or the information processing device may wirelessly send a command to the infrared transmitter such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
- the information processing apparatus 1 of the present invention it is possible to realize a function of performing navigation on an AR for an image captured by a two-axis rotating camera, a one-axis rotating camera, or a 360-degree camera. it can.
- the navigation system may, for example, display no image but only sound.
- the information processing device 1 may notify the turning angle by haptics, for example. Further, in the information processing device 1, for example, the camera 21 may automatically rotate to notify the direction.
- FIGS. 23 to 30 The functions of translation, reading aloud, and text conversion shown in FIGS. 23 to 30 are realized by a system in which the information processing device SP and the cloud CD are connected via a network.
- the functions of translation, reading aloud, and text conversion may be realized by the information processing device SP alone by being included in the SP.
- the information processing apparatus 1 to which the present invention is applied can take various kinds of embodiments.
- the information processing apparatus 1 to which the present invention is applied only needs to have the following configuration, and its embodiment is not particularly limited. That is, the information processing apparatus to which the present invention is applied (for example, the information processing apparatus 1 in FIG. 1) is An image pickup means (for example, the camera 21 in FIG. 2) for picking up an image, Subject extracting means for extracting a subject from a captured image generated by the image capturing means, Information extracting means for extracting information indicated by the subject, Information analysis means for analyzing the information, Generating means for generating an object based on the result of the analysis; Presentation means for presenting the object together with the captured image, Equipped with.
- the information processing apparatus to which the present invention is applied is An image pickup means (for example, the camera 21 in FIG. 2) for picking up an image, Subject extracting means for extracting a subject from a captured image generated by the image capturing means, Information extracting means for extracting information indicated by the subject, Information analysis means for
- the information processing apparatus to which the present invention is applied is Image pickup means (for example, the front camera of the information processing device SP of FIG. 13C) for picking up an image of a recording medium (a book or the like of FIG. 13B) in which a character string is arranged,
- a text data generation unit that generates text data corresponding to the character string based on a captured image captured by the image capturing unit (for example, an automatic translation aloud reading application of the information processing device SP in FIG. 13A);
- Presentation means for example, UI 31 in FIG. 23
- the user can view the generated text data while checking the image of the captured image (position of the character string on the recording medium) and adjusting the recording medium, so that the text data can be generated without error. can do.
- the image pickup means (for example, the rotary camera 21 in FIG. 20) of the information processing device is An information processing apparatus main body (for example, the information processing apparatus 1 in FIG. 20) is rotatably supported by an end portion of the information processing apparatus main body so that the optical axis faces from the back side of the information processing apparatus main body to the front side where the text data is presented. It With this configuration, text data can be generated without attaching a member such as a mirror that refracts the optical axis.
- the image pickup means (for example, the front camera FC of FIG. 13C or FIG. 31) of the information processing apparatus SP is At the end of the information processing device main body SP1, the optical axis is provided in the normal direction of the display unit 13 on which the text data is presented,
- the page of the recording medium (for example, the book of FIG. 13B) is imaged from the direction of the optical axis refracted through the mirror ML attached to the information processing apparatus main body SP1.
- the image pickup means (for example, the rotary camera 21 in FIG. 20) of the information processing device 1 is An information processing apparatus main body (for example, the main body 11 in FIG. 20) is rotatably supported at an end portion of the information processing apparatus main body so that the optical axis faces from the back side of the information processing apparatus main body to the front side where the text data is presented.
- a first state for example, in FIG. 20A, a first range (0° to 180°
- a second state in which the display unit 13 is slid and a part of the display unit 13 does not overlap with the information processing apparatus main body (for example, in the case of FIG.
- the second state is wider than the first range).
- the range (0° to 270°) is set as the movable range, and further, the range of 270° or more is set as the movable range until the rotary camera 21 comes into contact with the slid end surface of the display unit 13.
- 0° is a state in which the rotary camera 21 is accommodated in the groove or cutout portion of the main body 11 (a state in which the rotary camera 21 and the main body 11 overlap in the thickness direction), and 180° is a rotary camera 21.
- 0° is a state in which the rotary camera 21 is accommodated in the groove or cutout portion of the main body 11 (a state in which the rotary camera 21 and the main body 11 overlap in the thickness direction)
- 180° is a rotary camera 21.
- the information processing device 1 (for example, the information processing device 1 of FIG. 10 or FIG. 11) is Information indicating the orientation of the image capturing unit is added to the captured image captured by the image capturing unit.
- the user can see what the situation of the information processing apparatus 1 was when the photograph was taken (the main body 11 was horizontally positioned and the rotary camera 21 was set to the vertically long angle of view. It is possible to grasp a situation where 11 is vertically positioned and the rotary camera 21 is photographed at a horizontally long angle of view.
- the information processing device 1 for example, the information processing device SP of FIG. 13 or 20
- a correction unit that corrects the captured image into an image suitable for generating the text data for example, an automatic translation reading app of the information processing device SP of FIG. 13 or 20
- the information processing device SP (for example, the information processing device SP or cloud CD in FIGS. 13 and 20) is Processing means for performing at least one of translation and reading aloud of the text data (for example, an automatic translation reading aloud application of the information processing device SP of FIGS. 13 and 20), Equipped with.
- the information processing device SP (for example, the information processing device SP or cloud CD in FIGS. 13 and 20) is When the text data is incomplete as a sentence, a combining unit that combines with the text data obtained from another part of the captured image or the next captured image, Equipped with. With this configuration, the text data is combined and completed as one sentence, so that the user can browse or read aloud the sentence of the book in the information processing device SP without interruption.
- OT ⁇ Original button OT ⁇ Original OP1, OP2 ⁇ Original price display OP ⁇ Past photograph OW ⁇ Cooking name PL ⁇ Person PQ ⁇ Problem PW ⁇ Place name QG ⁇ Problem image QP ⁇ Problem paper RC ⁇ Shutter remote control RM ⁇ Video of ramen shop queue SC ⁇ Screen SP ⁇ Information processing device with fixed camera SS ⁇ Sound source TB ⁇ ..Translation button TT...translated text TW...translated text U...user WK...object Z1, Z2, Z3, Z4... rotary axis
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Telephone Function (AREA)
- Viewfinders (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
カメラ視点画像を視認しながらも、自由な姿勢で撮影が可能な情報処理装置を提供する。 撮像手段は、撮像を行う。テキストデータ生成手段は、撮像手段により撮像される撮像画像に基づいて前記文字列に対応するテキストデータを生成する。提示手段は、前記撮像手段により撮像される撮像画像と前記テキストデータとを共に提示する。
Description
本発明は、情報処理装置に関する。
従来から、スマートフォン等のカメラ付き携帯端末において、端末表示部裏面側に向けられたリアカメラ(相手撮り専用のカメラ)の他に、表示面側に向けられたフロントカメラ(自分撮りの専用カメラ)を別途備えるものが普及していた。
この様な端末においては、高性能カメラを2個も使用すると、端末が高額となってしまうこと、カメラ並びにレンズを大きくしなければならずデザイン上に好ましくないこと、及び、通常は相手撮りをメインとして使用されることから、フロントカメラはサブカメラとして小型で安価な低性能のものが採用されていた。
この様な端末においては、高性能カメラを2個も使用すると、端末が高額となってしまうこと、カメラ並びにレンズを大きくしなければならずデザイン上に好ましくないこと、及び、通常は相手撮りをメインとして使用されることから、フロントカメラはサブカメラとして小型で安価な低性能のものが採用されていた。
しかし、カメラが実際に撮影している画像(以下、「カメラ視点画像」と呼ぶ)を表示部で視認しながら自分撮りを高性能カメラで行いたいとのニーズも存在する為、相手撮りモードと自分撮りモードで、カメラを共用するものがあった。
例えば特許文献1には、イメージセンサ部が可動機構により撮影モードの選択に応じて回転し、この回転に合わせて使用するフィルタおよびレンズが自動的に切り替わる、という技術が開示されている。
例えば特許文献1には、イメージセンサ部が可動機構により撮影モードの選択に応じて回転し、この回転に合わせて使用するフィルタおよびレンズが自動的に切り替わる、という技術が開示されている。
しかしながら、特許文献1を含む従来の技術では、撮像方向が極めて限定されている為、機能的にはコストの問題に目を瞑って高性能カメラを2~3個取り付けた場合と何ら変わることなく、撮影時の使用者の姿勢が限定されているという問題が有った。
本発明は、このような状況に鑑みてなされたものであり、高性能カメラを装置本体に対して自由な方向に向けることを可能とし、カメラ視点画像を視認しながらも、自由な姿勢で撮影が可能な携帯情報装置を提供することを目的とする。
上記目的を達成するため、本発明の一態様の情報処理装置は、
撮像を行う撮像手段と、
前記撮像手段が生成する撮像画像から被写体を抽出する被写体抽出手段と、
前記被写体が示す情報を抽出する情報抽出手段と、
前記情報を解析する情報解析手段と、
前記解析の結果に基づいてオブジェクトを生成する生成手段と、
前記オブジェクトを前記撮像画像と共に提示する提示手段と、
を備える。
撮像を行う撮像手段と、
前記撮像手段が生成する撮像画像から被写体を抽出する被写体抽出手段と、
前記被写体が示す情報を抽出する情報抽出手段と、
前記情報を解析する情報解析手段と、
前記解析の結果に基づいてオブジェクトを生成する生成手段と、
前記オブジェクトを前記撮像画像と共に提示する提示手段と、
を備える。
本発明によれば、カメラ視点画像を視認しながらも、自由な姿勢で撮影が可能な携帯情報装置を提供することができる。
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本発明の情報処理装置の一実施形態の外観構成を示す図である。図1(A)は、情報処理装置の正面図である。図1(B)は、情報処理装置1の上面図である。図1(C)は、情報処理装置の左側面図である。
情報処理装置1は、少なくとも表示機能とデジタルカメラ機能を備え、本体部11と連結部12より構成され、これらは回動自在に相互に接続されている。
情報処理装置1は、少なくとも表示機能とデジタルカメラ機能を備え、本体部11と連結部12より構成され、これらは回動自在に相互に接続されている。
本体部11は、平面形状四角形の短柱状に形成され、各種基板等が内蔵される第1筐体である。本体部11の所定の一面11a(以下「正面11a」と呼ぶ)には、タッチパネル式ディスプレイ等で構成される表示部13が配置される。
図2は、図1の情報処理装置の外観構成を示す図である。図2(A)は、情報処理装置の背面図である。図2(B)は、図2(A)の線A-Aにおける断面図である。図2(C)は、図2(A)を上面からみた断面図である。
本体部11の背面11bは、図1で上述した正面11aに対向する側の一面である。
連結部12は、平面形状略矩形に形成され、本体部11の背面11bの一方の短辺側に回動自在に配置される。連結部12は、カメラ基部12-1と、カメラ指向部12-2とを有している。カメラ指向部12-2の正面(図2(A)で見えている側の面)には円形状のカメラ21が配置されている。即ち、連結部12は、カメラ21を内蔵する第2筐体である。カメラ21は、被写体を撮像する撮像部である。カメラ21により撮像された被写体を含む撮像画像は、表示部13に表示される。ここで、図2(C)で示す様に、凹み幅Wは、カメラ部用の凹みの幅である。そして、回転半径r2は、2軸目のヒンジの回転軸(中心)から一番長い回転半径である。これにより、凹み幅Wと回転半径r2の関係は、以下の式(1)で示す関係となる。
W/2>r2・・・(1)
連結部12は、平面形状略矩形に形成され、本体部11の背面11bの一方の短辺側に回動自在に配置される。連結部12は、カメラ基部12-1と、カメラ指向部12-2とを有している。カメラ指向部12-2の正面(図2(A)で見えている側の面)には円形状のカメラ21が配置されている。即ち、連結部12は、カメラ21を内蔵する第2筐体である。カメラ21は、被写体を撮像する撮像部である。カメラ21により撮像された被写体を含む撮像画像は、表示部13に表示される。ここで、図2(C)で示す様に、凹み幅Wは、カメラ部用の凹みの幅である。そして、回転半径r2は、2軸目のヒンジの回転軸(中心)から一番長い回転半径である。これにより、凹み幅Wと回転半径r2の関係は、以下の式(1)で示す関係となる。
W/2>r2・・・(1)
カメラ基部12-1は、回動軸Z1を回動中心として本体部11に対して連結部12全体を回動可能に軸支される。
より具体的には、カメラ基部12-1は、柱形の外形のうちの端面を本体部11に摺接しながら、回動軸Z1を中心として回動し得るように構成される。
より具体的には、カメラ基部12-1は、柱形の外形のうちの端面を本体部11に摺接しながら、回動軸Z1を中心として回動し得るように構成される。
軸支は両端面間を貫通してすることが強度上好ましいが、両端面から相互に回動軸を挿入して両持ち軸支しても良く、更には片持ちで軸支しても良い。
カメラ21が搭載されるカメラ指向部12-2は、回動軸Z1に対し略直交方向に配置された回動軸Z3を回動中心としてカメラ基部12-1に対し回動可能に片持ちで軸支される。
カメラ21が搭載されるカメラ指向部12-2は、回動軸Z1に対し略直交方向に配置された回動軸Z3を回動中心としてカメラ基部12-1に対し回動可能に片持ちで軸支される。
ここで、カメラ21の配置方向は、回動軸Z3に対しても、略90度である。
つまり、カメラ21は、回動軸Z1と回動軸Z3という2つの略直交独立した回動軸により、本体部11に対して、立体角上でモーションを取ることが出来る。
つまり、カメラ21は、回動軸Z1と回動軸Z3という2つの略直交独立した回動軸により、本体部11に対して、立体角上でモーションを取ることが出来る。
このように、カメラ21の光軸方向と表示部13の法線方向とのなす角度を変化させる回動軸Z1と、回動軸Z1とは異なる方向(本例では略直交方向)の回動軸Z3を含む複数の回動軸により、カメラ21を本体部11に対して相対的に回動可能に、直接的又は間接的に連結する部が、連結部12である。
連結部12は、本体部11より容積が小さい可動部を1以上有している。本例では、このような可動部として、カメラ基部12-1と、カメラ指向部12-2が設けられている。
撮像部たるカメラ21は、1以上の可動部のうち所定の1つの所定の面に配置されれば足りるが、本例では上述のようにカメラ指向部12-2の正面に配置されている。
そして、回動軸Z1の方向と、回動軸Z3の方向とのなす角度は、略90度である。
連結部12は、本体部11より容積が小さい可動部を1以上有している。本例では、このような可動部として、カメラ基部12-1と、カメラ指向部12-2が設けられている。
撮像部たるカメラ21は、1以上の可動部のうち所定の1つの所定の面に配置されれば足りるが、本例では上述のようにカメラ指向部12-2の正面に配置されている。
そして、回動軸Z1の方向と、回動軸Z3の方向とのなす角度は、略90度である。
情報処理装置1には、さらに、当該情報処理装置1を机等の上に立てかけて配置させることができるように、スタンド14が設けられている。
スタンド14は、回動軸Z2を回動中心として本体部11に対して回動可能に軸支される。
即ち、スタンド14は、枠状に形成され、回動軸Z2を中心とする回動により本体部11と好適な任意の角度を成すことにより、水平面上で情報処理装置1を自立安定させる(後述する図5参照)。
なお、図示した平面形状略コの字状は一例であって、平面形状略U字状等であっても良いことは言うまでもない。
更には後述の垂直面上での使用が可能であれば、平面形状フック状等であっても良い。
スタンド14は、回動軸Z2を回動中心として本体部11に対して回動可能に軸支される。
即ち、スタンド14は、枠状に形成され、回動軸Z2を中心とする回動により本体部11と好適な任意の角度を成すことにより、水平面上で情報処理装置1を自立安定させる(後述する図5参照)。
なお、図示した平面形状略コの字状は一例であって、平面形状略U字状等であっても良いことは言うまでもない。
更には後述の垂直面上での使用が可能であれば、平面形状フック状等であっても良い。
スタンド14は、連結部12を枠状に囲む形状とすることにより、スタンド14と連結部12を別々に離れた位置に配置するよりも大幅にスペース効率を上げることができ、無駄に情報処理装置1の筐体を大きくしないようにできる。または、内部基板を無駄に分割しないようにできる。
なお、連結部12とスタンド14は、回動軸に対する両端面についての中心線を、線A-Aのように略共有している。
なお、連結部12とスタンド14は、回動軸に対する両端面についての中心線を、線A-Aのように略共有している。
さらに以下、回動軸Z1乃至Z3について説明する。
回動軸Z1は、本体部11と連結部12を接続軸の回動中心であり、表示部13の短手方向に対して並行に配置されている。
回動軸Z1の回動範囲は、背面11bから略180度以上までであって、270度を超えることが望ましい。
回動軸Z1は、本体部11と連結部12を接続軸の回動中心であり、表示部13の短手方向に対して並行に配置されている。
回動軸Z1の回動範囲は、背面11bから略180度以上までであって、270度を超えることが望ましい。
回動軸Z2は、本体部11とスタンド14との接続軸の回動中心である。
回動軸Z2の回動範囲は、背面11bから180度にまで達することが望ましく、特に背面11bから90度までの任意の角度を、水平面上での情報処理装置1の自重モーメントに対抗して維持できる様に、適度な回動抵抗が与えられていても良い。
これによりユーザは、情報処理装置1を、水平面上で所望の角度姿勢で自立安定させて配置することができる。
なお、スタンド14の回動軸Z2側にオフセットさせる部位を設けて、回動軸Z1と回動軸Z2の回動中心を共有させても良い。
回動軸Z2の回動範囲は、背面11bから180度にまで達することが望ましく、特に背面11bから90度までの任意の角度を、水平面上での情報処理装置1の自重モーメントに対抗して維持できる様に、適度な回動抵抗が与えられていても良い。
これによりユーザは、情報処理装置1を、水平面上で所望の角度姿勢で自立安定させて配置することができる。
なお、スタンド14の回動軸Z2側にオフセットさせる部位を設けて、回動軸Z1と回動軸Z2の回動中心を共有させても良い。
回動軸Z3は、カメラ基部12-1と、カメラ指向部12-2との接続軸の回動中心であり、表示部13の長手方向に対して並行に配置されている。
回動軸Z3は、回動軸Z1とは略直交して設けられ、回動軸Z1回りの略直交平面上を回動する。
回動軸Z3の回動範囲は、回動軸Z3が回動する回動軸Z1回りの略直交平面より左右180度ずつにまで達することが望ましい。
回動軸Z3は、回動軸Z1とは略直交して設けられ、回動軸Z1回りの略直交平面上を回動する。
回動軸Z3の回動範囲は、回動軸Z3が回動する回動軸Z1回りの略直交平面より左右180度ずつにまで達することが望ましい。
図3は、図1の情報処理装置の連結部を回動させた様子を示す図である。
図3(A)では、図1の情報処理装置1の連結部12(より正確にはカメラ基部12-1)は、回動軸Z1を中心に90度回動した状態となっている。
図3(B)では、連結部12(より正確にはカメラ基部12-1)は、図3(A)の状態からさらに回動軸Z1を中心に回動し、回動軸Z1を中心に180度回動した状態となっている。
図3(C)では、連結部12(より正確にはカメラ指向部12-2)は、図3(B)の状態からさらに回動軸Z3を中心に90度回動した状態となっている。
図3(A)乃至図3(C)で示す様に、距離h1は、1軸目のヒンジの回転軸(中心)から、情報処理装置1(スマートフォン)の本体部11の上側面、情報処理装置1の天面(表示部13がある方)、または、情報処理装置1の底面(表示部13がない方)までの一番長い距離である。また、距離h2は、1軸目のヒンジの回転軸(中心)から2軸目のヒンジの回転断面までの距離である。そして、距離h1と距離h2との関係は、以下の式(2)で示す関係となる。
h2>h1・・・(2)
図3(A)では、図1の情報処理装置1の連結部12(より正確にはカメラ基部12-1)は、回動軸Z1を中心に90度回動した状態となっている。
図3(B)では、連結部12(より正確にはカメラ基部12-1)は、図3(A)の状態からさらに回動軸Z1を中心に回動し、回動軸Z1を中心に180度回動した状態となっている。
図3(C)では、連結部12(より正確にはカメラ指向部12-2)は、図3(B)の状態からさらに回動軸Z3を中心に90度回動した状態となっている。
図3(A)乃至図3(C)で示す様に、距離h1は、1軸目のヒンジの回転軸(中心)から、情報処理装置1(スマートフォン)の本体部11の上側面、情報処理装置1の天面(表示部13がある方)、または、情報処理装置1の底面(表示部13がない方)までの一番長い距離である。また、距離h2は、1軸目のヒンジの回転軸(中心)から2軸目のヒンジの回転断面までの距離である。そして、距離h1と距離h2との関係は、以下の式(2)で示す関係となる。
h2>h1・・・(2)
図4は、図1の情報処理装置1のスタンド14を回動させた様子を示す図である。
図4(A)は、上述の図3(B)と同一の状態であり、スタンド14は回動しておらず、本体部11に収納されている。
図4(B)では、スタンド14は、図4(A)の状態からさらに回動軸Z2を中心に回動し、回動軸Z2を中心に180度回動した状態となっている。
また、図3と同様に、距離h1と距離h2の関係は、上記の式(2)と同様の関係である。
図4(A)は、上述の図3(B)と同一の状態であり、スタンド14は回動しておらず、本体部11に収納されている。
図4(B)では、スタンド14は、図4(A)の状態からさらに回動軸Z2を中心に回動し、回動軸Z2を中心に180度回動した状態となっている。
また、図3と同様に、距離h1と距離h2の関係は、上記の式(2)と同様の関係である。
図4(B)に示すようにスタンド14を回動軸Z2を中心に180度回動した状態にすることで、ユーザは、図4(C)に示すように、スタンド14を壁KBのクリップCL等にかけることによって、情報処理装置1を壁KBに取り付けることができる。
この図4(C)の状態では、カメラ21の光軸方向(被写体の撮影方向)及び表示部13の法線方向(ユーザが表示部13を見る方向)は、壁KBの表面に対する法線方向となっている。
したがって、ユーザは、壁KBに対向して位置することで、カメラ視点画像(自身が写る画像)をみながら、自身を被写体とした撮影、即ちセルフィショット(自撮り)をすることが容易にできる。
この図4(C)の状態では、カメラ21の光軸方向(被写体の撮影方向)及び表示部13の法線方向(ユーザが表示部13を見る方向)は、壁KBの表面に対する法線方向となっている。
したがって、ユーザは、壁KBに対向して位置することで、カメラ視点画像(自身が写る画像)をみながら、自身を被写体とした撮影、即ちセルフィショット(自撮り)をすることが容易にできる。
以上説明したように、回動軸Z2によりスタンド14は本体部11に対して回動し、回動軸Z1及び回動軸Z3の2軸によりカメラ21(連結部12)は表示部13(本体部11)に対して回動する。
このため、ユーザは、セルフィショット(自撮り)等をする際に、図4に示すように情報処理装置1を壁KBにかけて使用することもできるし、図5に示すように情報処理装置1を卓上に立て掛けて使用することもできる。
このため、ユーザは、セルフィショット(自撮り)等をする際に、図4に示すように情報処理装置1を壁KBにかけて使用することもできるし、図5に示すように情報処理装置1を卓上に立て掛けて使用することもできる。
図5は、図1の情報処理装置1を卓上に立て掛けて使用している様子を示す図である。
図5(A)は、表示部13が配置された正面11a側をみる視点による斜視図である。
図5(B)は、表示部13が配置された背面11b側をみる図1の情報処理装置の卓上での使用形態を示す斜視図である。本形態におけるスタンド14は、図4(A)の状態から回動軸Z2を中心に90度以内で回動した状態となっている。
図5(A)は、表示部13が配置された正面11a側をみる視点による斜視図である。
図5(B)は、表示部13が配置された背面11b側をみる図1の情報処理装置の卓上での使用形態を示す斜視図である。本形態におけるスタンド14は、図4(A)の状態から回動軸Z2を中心に90度以内で回動した状態となっている。
回動軸Z2には、背面11bから90度までの任意の角度を、水平面上での情報処理装置1の自重モーメントに対抗して維持できる様に、適度な回動抵抗が与えられていても良い。
これによりユーザは、情報処理装置1を、水平面上で所望の角度姿勢で自立安定させて配置することができる。
これによりユーザは、情報処理装置1を、水平面上で所望の角度姿勢で自立安定させて配置することができる。
図1の情報処理装置1に係るユーザは、自己を撮像する場合等には、図5に示すように、本体部11とスタンド14とが所定角度拡開するように変形した状態の情報処理装置1を、机上等に立設させる。
この状態でも、情報処理装置1は、回動軸Z1及び回動軸Z3を回動させることにより、カメラ21を被写体に向けることが出来る。
この状態でも、情報処理装置1は、回動軸Z1及び回動軸Z3を回動させることにより、カメラ21を被写体に向けることが出来る。
さらに、情報処理装置1は、シャッターリモコン機能やセルフタイマー機能を併用することにより、本体部11を手で持たなくても撮影することができるので、後述する諸課題を解決することが出来る。
以上説明した本発明が適用される情報処理装置1を採用することで、次のような各種各様な効果を奏することが可能である。
即ち、従来のスマートフォンでのフロントカメラを用いたセルフィショット(自撮り)が全世界的に、特にアジア圏で流行っている。
しかしながら、従来のスマートフォンでは、下記のような様々な課題があった。
本発明が適用される情報処理装置1を採用することで、これら様々な課題を解決できるという効果を奏することができる。
しかしながら、従来のスマートフォンでは、下記のような様々な課題があった。
本発明が適用される情報処理装置1を採用することで、これら様々な課題を解決できるという効果を奏することができる。
例えば、従来のスマートフォンを用いるユーザは、自分の手でシャッターを押すので、自分の手の長さ以上に離れた距離から自分たちの写真を撮ることができない。つまり、広角の限度があるので、一緒に撮りたい全員(家族、恋人、仲間など)が入らない可能性があったり、自分の全身写真を撮ることは不可能である。
この課題の従来の解決方法としては、セルフィスティック(自撮り棒)を用いるとい方法がある。この方法では、自分の手の長さ以上に離れた距離から写真を撮ることもできるが、セルフィスティックの長さ以上に離れた距離からは撮れない。加えて、セルフィスティックを持ち歩く必要性があり、安全性の観点からセルフィスティックの使用を禁止する場所(テーマパークやスポーツ施設やコンサート会場や駅のホームなど)も出てきており、万能な解決方法ではない。
つまり、セルフィスティックを用いないで撮影したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14を有しているので、図4や図5に示すように壁や卓上に固定可能であり、セルフィスティックが不要になる。
この課題の従来の解決方法としては、セルフィスティック(自撮り棒)を用いるとい方法がある。この方法では、自分の手の長さ以上に離れた距離から写真を撮ることもできるが、セルフィスティックの長さ以上に離れた距離からは撮れない。加えて、セルフィスティックを持ち歩く必要性があり、安全性の観点からセルフィスティックの使用を禁止する場所(テーマパークやスポーツ施設やコンサート会場や駅のホームなど)も出てきており、万能な解決方法ではない。
つまり、セルフィスティックを用いないで撮影したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14を有しているので、図4や図5に示すように壁や卓上に固定可能であり、セルフィスティックが不要になる。
また、自分の手を伸ばすので、シャッターを押した手が伸びた状態でしか撮影がされず、不自然なポーズになる。
これはセルフィスティックを使っても若干不自然さが緩和される場合もあるが、不自然さは残り、白分がとりたいポーズ(例えば、両手を使ったポーズなど)が出来ない場合がある。
これはセルフィスティックを使っても若干不自然さが緩和される場合もあるが、不自然さは残り、白分がとりたいポーズ(例えば、両手を使ったポーズなど)が出来ない場合がある。
つまり、セルフィスティックを用いないで撮影したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14及びセルフタイマー並びにシャッターリモコン機能を有しているので、図4や図5に示すように壁や卓上に固定可能であり、セルフィスティックが不要になる。
また、より大人数のセルフィになると、セルフィというより集合写真になるが、自分の手でも、セルフィスティックでも、全員がカメラに収まらない場合が有る。
係る場合は、仲間の一人が犠牲となって、撮影者となるが、撮影者は集合写真に入ることができない。
店舗で、パーティなどを開く際には、店員に依頼して、集合写真を撮ってもらうことが多いが、店員を呼ぶ必要があり、面倒である。
係る場合は、仲間の一人が犠牲となって、撮影者となるが、撮影者は集合写真に入ることができない。
店舗で、パーティなどを開く際には、店員に依頼して、集合写真を撮ってもらうことが多いが、店員を呼ぶ必要があり、面倒である。
つまり、撮影対象者以外の人の手を煩わすことなく、撮影対象者を全員、写真に収めたいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14及びカメラの2軸回動機構を有しているので、図4や図5に示すように壁や卓上に固定可能であり、撮影対象者以外の人の手が不要になる。
また、例えば、スポーツのフォームを自分で確認する際に、スマートフォンのカメラを使って撮影したいが、スマートフォンを床や机の上などに固定するものがないと、撮影すらできず、スマートフォンでの撮影を諦める場合が多い。
同様に、机の上などにスマートフォンを置いて、セルフィショットを撮ることもあるが、被写体にフロントカメラを向けてスマートフォンを置く時に、安定して置けなかったり、設置に時間が掛かる。
つまり、三脚を用いないで撮影したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14及びカメラの2軸回動機構を有しているので、図4や図5に示すように壁や卓上に固定可能であり、三脚が不要になる。
加えて、縦長の画面で撮影したい場合は、スタンド14を立て、連結部12を180度以上回動させることで、卓上に固定した状態で撮影できるので、三脚が不要になる。この場合、必ずしもスタンド14を立てる必要はない。
加えて、縦長の画面で撮影したい場合は、スタンド14を立て、連結部12を180度以上回動させることで、卓上に固定した状態で撮影できるので、三脚が不要になる。この場合、必ずしもスタンド14を立てる必要はない。
また、スマートフォンでビデオチャットをすると、多くの人がスマートフォンのフロントカメラに自分の顔を映すために、チャットの間中ずっとスマートフォンを持っている必要がある。
調査によると80%の人が手に持ってチャットしていると答えていて、チャットする時間にも依るが、手が疲れてきてしまう。
つまり、スマートフォンを手に持たないでビデオチャットをしたいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14及びカメラの回動機構を有しているので、図4や図5に示すように壁や卓上に固定可能であり、スマートフォンを手に持つことが不要になる。
加えて、縦長の画面で自分の顔を撮影してビデオチャットをしたい場合は、スタンド14を立て、連結部12を180度以上回動させることで、卓上に固定した状態で撮影できるので、スマートフォンを手に持つことが不要になる。この場合、必ずしもスタンド14を立てる必要はない。
加えて、縦長の画面で自分の顔を撮影してビデオチャットをしたい場合は、スタンド14を立て、連結部12を180度以上回動させることで、卓上に固定した状態で撮影できるので、スマートフォンを手に持つことが不要になる。この場合、必ずしもスタンド14を立てる必要はない。
また、これらの課題の解決策として、スマートフォンを机の上などに置くための、スタンドをスマートフォンに搭載する方法があるが、スタンドで表示画面とフロントカメラの角度が固定されてしまう為、必ずしも被写体方向にカメラが向かず、写真又は映像を撮るという目的には、こちらも万能な解決策にはならない。
つまり、角度が固定されたフロントカメラを用いないで撮影したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14及びカメラの2軸回動機構を有しているので、図4や図5に示すようにリアカメラを2軸回動により正面に回り込ませて自由な角度に指向させることが可能であり、角度が固定されたフロントカメラが不要になる。
加えて、縦長の画面で撮影したい場合は、スタンド14を立て、連結部12を180度以上回動させることで、卓上に固定した状態で撮影できるので、角度が固定されたフロントカメラが不要になる。この場合、必ずしもスタンド14を立てる必要はない。
加えて、縦長の画面で撮影したい場合は、スタンド14を立て、連結部12を180度以上回動させることで、卓上に固定した状態で撮影できるので、角度が固定されたフロントカメラが不要になる。この場合、必ずしもスタンド14を立てる必要はない。
また、スマートフォンが仮にスタンドを備えても、置く場所がなく、壁しかなければ、スマートフォンを置くことは出来ない。
この課題の解決策として、壁に情報処理装置をぶら下げて固定する方法もあるが、その為のフックをスマートフォンに用意する必要があり、それもスマートフォン本体にスペースが必要になる。
この課題の解決策として、壁に情報処理装置をぶら下げて固定する方法もあるが、その為のフックをスマートフォンに用意する必要があり、それもスマートフォン本体にスペースが必要になる。
つまり、フックを別途備えたくないという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、連結部12及びスタンド14を180度回動させた状態にすることで、スタンド14と連結部12の間に設けられている空隙を利用して、平面上に突起部やピン状部材を利用して懸架支持させることができるので、壁掛けでの使用に好適であり、フックを別途備える必要がなくなる。
また、フロントカメラは一般的に、リアカメラと比較して、
(ア)低解像度
(イ)低感度(暗いシーンではフラッシュなしでは撮影ができない)
(ウ)固定焦点で、オートフォーカスではない
(エ)オートフォーカスのものもあるが、オートフォーカスのスピードが遅い
(オ)低ズーム倍率
(カ)フラッシュライトがない
と、性能的に劣るものが多く、椅麗な画質で撮像できない。
加えて、リアカメラとフロントカメラは性能が異なる場合、1機種の為に、2つのカメラを開発する必要がある。
この課題の解決方法として、リアカメラで、セルフィショットを撮るアプリケーションソフトウェアがあるが、表示部が見えないので、声でナビゲートする等、使い勝手は非常に悪かった。
(ア)低解像度
(イ)低感度(暗いシーンではフラッシュなしでは撮影ができない)
(ウ)固定焦点で、オートフォーカスではない
(エ)オートフォーカスのものもあるが、オートフォーカスのスピードが遅い
(オ)低ズーム倍率
(カ)フラッシュライトがない
と、性能的に劣るものが多く、椅麗な画質で撮像できない。
加えて、リアカメラとフロントカメラは性能が異なる場合、1機種の為に、2つのカメラを開発する必要がある。
この課題の解決方法として、リアカメラで、セルフィショットを撮るアプリケーションソフトウェアがあるが、表示部が見えないので、声でナビゲートする等、使い勝手は非常に悪かった。
つまり、表示部を見ないでセルフィショットを撮る為のアプリケーションソフトウェアは、使いたくないという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、高性能カメラとしてのカメラ21を装置本体に対して自由な方向に向けることが可能であり、カメラ視点画像を視認しながらも、自由な姿勢で撮影できるので、表示部13を見ないでセルフィショットを撮る為のアプリケーションソフトウェアが不要になる。
また、上記の解決策であるスタンドと回動式カメラも、本体側に回動の為の各々の軸が必要になり、その2つの軸用にスペースを確保する必要があり、本体の筐体がより大きくなってしまう。加えて、カメラの回動の仕方にも依るが、スタンドで、立てたスマートフォンのカメラが回動しても、被写体にカメラが向かないことが多く、解決策にならないことが多い。被写体にカメラが向くように更に回動軸を増やすことも可能だが、写真を撮影する際に被写体に常にカメラを向けてから撮影するのは、面倒な場合が多い。
つまり、少ない回動軸数で被写体に常にカメラを向けたいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14とカメラ21の回動軸を兼用させても良いので、図4や図5に示すように2軸回動だけで被写体に常にカメラ21を向けることが可能であり、回動軸を増やすことが不要になる。
また、従来の、リアカメラも正面表示部も本体に固定された情報処理装置では、目よりも高い位置から撮影するハイアングルショットや、腰よりも低い位置から撮影するローアングルショットは、カメラの向きと表示部の向きが対向しているので、表示部を見ながら撮影することは困難である。
例えば、ハイアングルショットは、写真を撮る際に、被写体が人垣に固まれていたりするときに、人垣の上から撮影するようなときに必要となるが、カメラを被写体に向けると表示部が上を向いてしまい、カメラ視点画像を視認しながら撮影することができない。
例えば、ハイアングルショットは、写真を撮る際に、被写体が人垣に固まれていたりするときに、人垣の上から撮影するようなときに必要となるが、カメラを被写体に向けると表示部が上を向いてしまい、カメラ視点画像を視認しながら撮影することができない。
同様に、腰よりも低い位置からカメラよりも高い位置にある被写体にカメラを向けると、表示部が下を向いてしまい、やはり、カメラ視点画像を視認しながら撮影することができない。
この課題の解決策として、カメラが回動すると、カメラの向きと表示部の向きを別々に設定できるので、カメラ視点画像を視認しながらの撮影が、可能になる。
この課題の解決策として、カメラが回動すると、カメラの向きと表示部の向きを別々に設定できるので、カメラ視点画像を視認しながらの撮影が、可能になる。
この際に、カメラを回転させていくと、画面の上下方向が変わる時があるが、何も工夫を凝らさないと、上下方向が逆になってしまうことなどもある。
このようなハイアングルショットやローアングルショットの際には、カメラの回転する方向が決まっている(正位置から時計回りにしか回転しないとか)と撮影がしにくい為、両方向に回動可能であることが望ましい。
このようなハイアングルショットやローアングルショットの際には、カメラの回転する方向が決まっている(正位置から時計回りにしか回転しないとか)と撮影がしにくい為、両方向に回動可能であることが望ましい。
つまり、角度が固定されたリアカメラを用いないで撮影したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、スタンド14及びカメラ21の2軸回動機構を有しているので、図4や図5に示すようにリアのカメラ21を2軸回動により上下に自由な角度に指向させることが可能であり、角度が固定されたリアカメラが不要になる。
カメラ21を回動させていると、どこかのタイミングで、撮影できる画角(広角か通常か狭角か等)を自動で切り替えられると望ましい。一般的にはフロントカメラの光軸方向側は、被写体までの距離が短い場合が多いので、広角で撮影したいが、リアカメラの光軸方向側は、通常や狭角で撮影したい。よって、カメラの向きによって、画角が自動で変わると望ましい。
カメラ21を回動させていると、どこかのタイミングで、撮影できる画角(広角か通常か狭角か等)を自動で切り替えられると望ましい。一般的にはフロントカメラの光軸方向側は、被写体までの距離が短い場合が多いので、広角で撮影したいが、リアカメラの光軸方向側は、通常や狭角で撮影したい。よって、カメラの向きによって、画角が自動で変わると望ましい。
また、セルフィショットを撮るときに、シャッターボタンやタッチパネルを押して、シャッターを下ろす必要があり、しっかりとスマートフォンをホールド出来ず、不安定になったスマートフォンを落としてしまうこともある。
この課題の解決策として、タイマー設定や、ジェスチャ認識や音声認識によるシャッター押下があるが、シャッターが下ろされるタイミングがわかりにくかったり、反応が悪かったりして、例えば、5人でジャンプした瞬間を撮りたいといった時には使いにくい。
この課題の解決策として、タイマー設定や、ジェスチャ認識や音声認識によるシャッター押下があるが、シャッターが下ろされるタイミングがわかりにくかったり、反応が悪かったりして、例えば、5人でジャンプした瞬間を撮りたいといった時には使いにくい。
つまり、スマートフォンから手を放してシャッターボタンを押して撮影したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、シャッターリモコン対応機能を有しているので、図4や図5に示すようにセルフィショットを撮るときに、シャッターボタンやタッチパネルを押すことなくシャッターを下ろすことが可能であり、しっかりとスマートフォンをホールドすることが不要になる。
ここで、シャッターリモコン対応機能があっても、例えば、10人でグループショットを撮影する際に、上述の情報処理装置1を机の上などに設置し、10人に向けカメラ21を回転させ、情報処理装置1から遠く離れると、表示部13が小さくて見えなくなってしまい、カメラ視点画像のフレームに全員が収まっているかわからないか又は各々の表情がわからない等の理由から、シャッターを切りにくい場合がある。
つまり、カメラ視点画像を何らかの方法で確認しながら、撮影したいという課題がある。
この課題の解決方法は、次のような手法を採用することである。即ち、本発明が適用される情報処理装置1に対して、カメラ視点画像を別のスマートフォンやパーソナルコンピュータなどの情報処理装置に、有線、もしくは無線で転送し、操作も可能にする画面共有機能を搭載するという手法を採用するとよい。
これにより、情報処理装置1のカメラ視点画像を他の情報処理装置と共有しながら、離れた位置から静止画や動画の撮影をすることが可能になる。情報処理装置同士が直接繋がる場合もあれば、インターネット回線を使って、自宅に置いた情報処理装置1のカメラ視点画像をオフィスのパーソナルコンピュータと画面共有し、そのパーソナルコンピュータの画面を見ながら、自宅に残っているペットの撮影をしたりすることも可能である。
つまり、カメラ視点画像を何らかの方法で確認しながら、撮影したいという課題がある。
この課題の解決方法は、次のような手法を採用することである。即ち、本発明が適用される情報処理装置1に対して、カメラ視点画像を別のスマートフォンやパーソナルコンピュータなどの情報処理装置に、有線、もしくは無線で転送し、操作も可能にする画面共有機能を搭載するという手法を採用するとよい。
これにより、情報処理装置1のカメラ視点画像を他の情報処理装置と共有しながら、離れた位置から静止画や動画の撮影をすることが可能になる。情報処理装置同士が直接繋がる場合もあれば、インターネット回線を使って、自宅に置いた情報処理装置1のカメラ視点画像をオフィスのパーソナルコンピュータと画面共有し、そのパーソナルコンピュータの画面を見ながら、自宅に残っているペットの撮影をしたりすることも可能である。
また、従来のデジタルカメラやスマートフォンでも、カメラを横移動させることによって、合成のパノラマショットを撮ることができる。
しかし、スマートフォンやカメラを様々な方向に向けて横移動しながら撮影する必要があり、綺麗に合成できない場合が多い。
しかし、スマートフォンやカメラを様々な方向に向けて横移動しながら撮影する必要があり、綺麗に合成できない場合が多い。
つまり、本体を横移動させることなくカメラで周囲を撮影したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、カメラ21の回動軸Z1及びZ3についての回動は電動であって良いので、図3に示すように本体を止めたままカメラ21をパンさせることが可能であり、カメラ21を横移動させることが不要になる。
また、従来より、人間のジェスチャを機器やゲームの操作に活かそうという試みがあるが、ジェスチャを認識するカメラは常に被写体を向いている必要があることから、カメラ装置とゲーム装置とは別に用意する必要があり、スマートフォン1台で処理することが出来なかった。
かつ、ジェスチャ認識用のカメラは非常に高価であり、追加の費用が発生していた。
かつ、ジェスチャ認識用のカメラは非常に高価であり、追加の費用が発生していた。
つまり、ジェスチャ認識専用のカメラを使わずジェスチャ認識したいという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、人に向けるカメラ21が高機能(例えば、Exvisionのジェスチャ認識)であれば可能であり、ジェスチャ認識専用のカメラが不要になる。
また、従来から、スマートフォンには、歩行者用のナビゲーションソフトがあるが、それでも特に屋外だと、自分が向いている方向が簡単にわからず、自分の進むべき方向がわからなかったり、わかるのに時間が掛かったりする。
この課題の解決策として、カメラを使ったARによるナビゲーションがある。
この課題の解決策として、カメラを使ったARによるナビゲーションがある。
当該ナビゲーションは、実際にカメラに写っている映像に矢印を重ね合わせたりするユーザインターフェースにより、方角を認識するのに時間が掛かかることもなく、直ぐに使えるようになる。
ただし、本体部背面に直交する角度で固定されたカメラで撮影するためには、常にスマートフォン本体部を地面と垂直に持つ必要があり、その際の表示部は非常に見難い角度になったり、ずっと持つのに疲れたりする。
ただし、本体部背面に直交する角度で固定されたカメラで撮影するためには、常にスマートフォン本体部を地面と垂直に持つ必要があり、その際の表示部は非常に見難い角度になったり、ずっと持つのに疲れたりする。
屋外での歩行中にスマートフォンを使用する行為である「歩きスマホ」も社会現象となっているが、画面に集中しているので、ぶつかりそうになるまで、なかなか気付かない。
これら2つの課題も、回動式のカメラがあれば、解決できる場合がある。
「歩きスマホ」時に、回動したカメラ21の映像を表示部13にウィンドウの一つとして表示したり、障害物の存在を、音や画面や振動で伝えることも可能になり、危険を回避できる。
これら2つの課題も、回動式のカメラがあれば、解決できる場合がある。
「歩きスマホ」時に、回動したカメラ21の映像を表示部13にウィンドウの一つとして表示したり、障害物の存在を、音や画面や振動で伝えることも可能になり、危険を回避できる。
本形態では、表示面に対してカメラが縦方向に回動する為、上記2つの解になりうるが、カメラの向きがスムーズに回動する場合は、カメラが遊動して安定しない、という問題もある。
つまり、本体を把持して安定させても、カメラが遊動して安定しないという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、カメラ21の回動を特定の角度でロックできて良く、本体部11を把持して安定させれば、カメラ21も安定する。
また、近年、万が一の事故の際、映像データやGPS(Global Positioning System)によるデータなどを記録することにより、事故の客観的な検証に寄与することを目的とする、自動車や自転車に搭載するドライブレコーダが急速に広がっている。
スマートフォンにアプリケーションソフトウェアをインストールすることで、ドライブレコーダ代わりにすることも可能であるが、あまり、広まっていない。
自動車の場合の理由として、車のダッシュボードの上に吸盤や両面テープなどでスマートフォン等を固定するホルダを使って、ドライバから表示部を見やすいようにスマートフォンを固定すると、そのスマートフォンのカメラの光軸方向は、撮影したい車前方や後方を向かず、ダッシュボードが写ってしまう。
つまり、ドライバから見やすい位置かつ運転の妨げにならない位置にスマートフォンを置くと、ドライブレコーダの役割を果たせない。一方、ドライブレコーダとしての映像を優先すると、スマートフォンをドライバから見にくい位置に設置しなければならない。そうすることによって、スマートフォンをドライブレコーダ兼ナビゲーションシステムとして利用したいなどの兼用用途を満たすことができなくなってしまう。自転車の場合も同様である。その為、スマートフォンをドライブレコーダとして使うことがあまり広まっていないと考えられる。
つまり、スマートフォンをドライブレコーダとして利用しながら、他の用途にも同時に使いたいという課題がある。
この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、カメラ21を装置本体に対して自由な方向に向けることが可能であり、ナビゲーションの地図を表示しながら、画面の一部にカメラ視点画像をPicture in Pictureのような形で表示できるので、スマートフォンをドライブレコーダとして利用しながら、他の用途にも同時に使うことができる。よって、専用のドライブレコーダが不要になる。
なお、自動車への設置は、横長画面になるように設置するが、自転車への設置は、縦長画面になるように設置するなど、カメラ21が2軸で回転できるので、幅広い設置の仕方に対応が可能である。
スマートフォンにアプリケーションソフトウェアをインストールすることで、ドライブレコーダ代わりにすることも可能であるが、あまり、広まっていない。
自動車の場合の理由として、車のダッシュボードの上に吸盤や両面テープなどでスマートフォン等を固定するホルダを使って、ドライバから表示部を見やすいようにスマートフォンを固定すると、そのスマートフォンのカメラの光軸方向は、撮影したい車前方や後方を向かず、ダッシュボードが写ってしまう。
つまり、ドライバから見やすい位置かつ運転の妨げにならない位置にスマートフォンを置くと、ドライブレコーダの役割を果たせない。一方、ドライブレコーダとしての映像を優先すると、スマートフォンをドライバから見にくい位置に設置しなければならない。そうすることによって、スマートフォンをドライブレコーダ兼ナビゲーションシステムとして利用したいなどの兼用用途を満たすことができなくなってしまう。自転車の場合も同様である。その為、スマートフォンをドライブレコーダとして使うことがあまり広まっていないと考えられる。
つまり、スマートフォンをドライブレコーダとして利用しながら、他の用途にも同時に使いたいという課題がある。
この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、カメラ21を装置本体に対して自由な方向に向けることが可能であり、ナビゲーションの地図を表示しながら、画面の一部にカメラ視点画像をPicture in Pictureのような形で表示できるので、スマートフォンをドライブレコーダとして利用しながら、他の用途にも同時に使うことができる。よって、専用のドライブレコーダが不要になる。
なお、自動車への設置は、横長画面になるように設置するが、自転車への設置は、縦長画面になるように設置するなど、カメラ21が2軸で回転できるので、幅広い設置の仕方に対応が可能である。
また、今後、スマートフォンの業界では、リアカメラにセンサを複数個搭載して、写真撮影だけではなく、距離を測定したり、ズームに活用したりする例が増えてくると見られている。だが、フロントカメラ側も同じ対応をすると、コストが倍掛かってしまうので、見送られる可能性が高く、フロントとリアでカメラの機能差が出てしまう。
つまり、リアカメラしか高機能化させられないという課題がある。この課題の解決方法は、本発明が適用される情報処理装置1を採用することである。即ち、本発明が適用される情報処理装置1は、ステレオカメラへの応用を想定し、回動するカメラ21があれば、解決が可能であり、フロントカメラへの機能追加の対応が不要になる。
従来の情報処理装置では、撮影した画像をフルサイズで表示させた画面で確認しながら、取捨選択していく作業は容易ではなかった。
本発明の情報処理装置1の一実施形態によれば、図6に示すように、カメラで撮影した画像をスライドショーで自動再生し、逐次、取捨選択できる機能を提供することができる。削除ボタンB1、検討中ボタンB2、保持ボタンB3の3つのボタンが表示されているイメージである。
すなわち、ユーザがいずれか1つのボタン選ぶと、次の写真に切り替わっていく。
当該操作は必ずしも人手による必要は無く、AI等により自動化して良い。これはアプリケーションソフトウェアの機能なので、従来の情報処理装置でも実現は可能である。
本発明の情報処理装置1の一実施形態によれば、図6に示すように、カメラで撮影した画像をスライドショーで自動再生し、逐次、取捨選択できる機能を提供することができる。削除ボタンB1、検討中ボタンB2、保持ボタンB3の3つのボタンが表示されているイメージである。
すなわち、ユーザがいずれか1つのボタン選ぶと、次の写真に切り替わっていく。
当該操作は必ずしも人手による必要は無く、AI等により自動化して良い。これはアプリケーションソフトウェアの機能なので、従来の情報処理装置でも実現は可能である。
従来の情報処理装置(例えばスマートフォン)では、店舗等の屋内(A)Rによるナビゲーションを行う際には、スマートフォンを垂直に立てながら、撮影する必要があり、歩きながら、スマートフォンを垂直に保つのは、不自然な持ち方になり、疲れてしまう。
本発明の情報処理装置1の一実施形態によれば、図7(B)に示すように、2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影した画像に対して、カメラが回転させることができ、ディスプレイを見やすい角度で保持した状態でカメラを進行方向に向けることができるので、図7(A)Aに示すように、AR上で屋内のナビゲーションを行う機能を提供することができる。
本発明の情報処理装置1の一実施形態によれば、図7(B)に示すように、2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影した画像に対して、カメラが回転させることができ、ディスプレイを見やすい角度で保持した状態でカメラを進行方向に向けることができるので、図7(A)Aに示すように、AR上で屋内のナビゲーションを行う機能を提供することができる。
例えば、ガイド情報GI1は、砂糖が少ないこと(例えばユーザ宅の貯蔵量や、売り場の陳列量)を、AR上で示している。
例えば、ガイド情報GI2は、値引き品売り場の方向を、AR上で示している。
例えば、ガイド情報GI3は、10%値引き商品の陳列位置を、AR上で示している。
例えば、ガイド情報GI4は、10色のカラーバリエーションの商品の陳列位置を、AR上で示している。
更に、情報処理装置1は、購入したいアイデムがどこにあるか等の、店舗の中のナビゲーションを行う。
情報処理装置1は、カメラにユーザが探している対象物がカメラ視点画像に入ると画面上にマークや音や振動を出して良い。
情報処理装置1は、対象物から遠ざかると音量を下げる、又は上げるなどによりユーザに通知して良い。
更に、従来のカメラの角度が固定された情報処理装置でも、同じ機能を搭載しても良い。
例えば、ガイド情報GI2は、値引き品売り場の方向を、AR上で示している。
例えば、ガイド情報GI3は、10%値引き商品の陳列位置を、AR上で示している。
例えば、ガイド情報GI4は、10色のカラーバリエーションの商品の陳列位置を、AR上で示している。
更に、情報処理装置1は、購入したいアイデムがどこにあるか等の、店舗の中のナビゲーションを行う。
情報処理装置1は、カメラにユーザが探している対象物がカメラ視点画像に入ると画面上にマークや音や振動を出して良い。
情報処理装置1は、対象物から遠ざかると音量を下げる、又は上げるなどによりユーザに通知して良い。
更に、従来のカメラの角度が固定された情報処理装置でも、同じ機能を搭載しても良い。
従来の情報処理装置(例えばスマートフォン)では、屋外における歩行者(A)Rによるナビゲーションの際には、スマートフォンを垂直に立てながら、周辺を撮影する必要があった。
そのため、歩きながら、スマートフォンを垂直に保つのは、不自然な持ち方になり、疲れてしまう。よって、ARによるナビゲーションは一般的ではなく、ほとんど使われていない。よって、歩行者(A)Rナビ中に位置及びカメラの方向を勘案して広告を出すことはほとんど行われていない。
本発明の情報処理装置1の一実施形態によれば、図8(B)に示すように、2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影した画像に対して、ディスプレイを見やすい角度で保持した状態でカメラを進行方向に向けることができるので、見やすく、疲れにくい状態で図8(A)に示すように、ARによるナビゲーションが行える。よって、そ(A)R上で画像または、音声による広告を出す機能を提供することができて良い。
そのため、歩きながら、スマートフォンを垂直に保つのは、不自然な持ち方になり、疲れてしまう。よって、ARによるナビゲーションは一般的ではなく、ほとんど使われていない。よって、歩行者(A)Rナビ中に位置及びカメラの方向を勘案して広告を出すことはほとんど行われていない。
本発明の情報処理装置1の一実施形態によれば、図8(B)に示すように、2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影した画像に対して、ディスプレイを見やすい角度で保持した状態でカメラを進行方向に向けることができるので、見やすく、疲れにくい状態で図8(A)に示すように、ARによるナビゲーションが行える。よって、そ(A)R上で画像または、音声による広告を出す機能を提供することができて良い。
例えば、広告AD1は、全品10%値引きセールを実施中である旨の位置情報付きの広告を、AR上で示している。
例えば、広告AD2は、近日営業を開始する店舗又は開店から日が浅い店舗の店舗名の、位置情報付きの広告を、AR上で示している。
ここで、情報処理装置1は、AR広告を出す又は出さないについて、ユーザがメニューで選択できて良い。
更に、情報処理装置1は、内容について、例えばセール情報に限定したり、レストランの広告に限定する等をメニューで選択できて良い。
また、広告主側も、メニューで出稿対象ユーザの属性等を指定できて良い。
更に、情報処理装置1は、広告が表示されると、音や振動によりユーザに通知して良い。
更に、情報処理装置1は、広告が表示されている場所に向けて、広告に気づくように、カメラが自動で回転する機能を備えて良い。
更に、従来のカメラの角度が固定された情報処理装置でも、同じ機能を搭載しても良い。
例えば、広告AD2は、近日営業を開始する店舗又は開店から日が浅い店舗の店舗名の、位置情報付きの広告を、AR上で示している。
ここで、情報処理装置1は、AR広告を出す又は出さないについて、ユーザがメニューで選択できて良い。
更に、情報処理装置1は、内容について、例えばセール情報に限定したり、レストランの広告に限定する等をメニューで選択できて良い。
また、広告主側も、メニューで出稿対象ユーザの属性等を指定できて良い。
更に、情報処理装置1は、広告が表示されると、音や振動によりユーザに通知して良い。
更に、情報処理装置1は、広告が表示されている場所に向けて、広告に気づくように、カメラが自動で回転する機能を備えて良い。
更に、従来のカメラの角度が固定された情報処理装置でも、同じ機能を搭載しても良い。
従来の情報処理装置(例えばスマートフォン)にも、カメラの撮影映像に対して、ARで翻訳を表示する機能があった。しかしながら、上述したように、ARのナビゲーションは、スマートフォンを不自然な体勢で持つ必要があるので、あまり一般的ではなく、その中で、ARのナビゲーションからアプリケーションソフトウェアを切り替えることなく、ARで翻訳等を出すことは容易ではなかった。
本発明の情報処理装置1の一実施形態によれば、2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影した画像に対して、(ナビゲーションの最中などで)AR上で翻訳等の情報を出す機能を提供することができる。
本発明の情報処理装置1の一実施形態によれば、2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影した画像に対して、(ナビゲーションの最中などで)AR上で翻訳等の情報を出す機能を提供することができる。
Google LLCが始めたストリートビューサービスは、過去に撮影した映像を表示するだけなので、地図上の各ポイントに対して、ほぼリアルタイムで表示することは容易ではなかった。
本発明の情報処理装置1の一実施形態によれば、図9に示すように、自動車の運転中に2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影したARナビゲーションで使用する背景映像のデータをクラウドCDにアップロードすることで、ストリートビューの地図上のポイントに対して、そこをナビゲーションサービスなどで通過した背景映像を表示することで、ほぼリアルタイムのストリートビューを表示する機能を提供することができる。
ここで、ほぼリアルタイムのストリートビューには、絶対時刻だけではなく、相対時間つまり、何分前の情報かを表示させて良い。
また、クラウドCDに接続されたサーバ等は、複数台のカメラ映像を組み合わせて、映像を作成して良い。
また、情報処理装置1は、ある地点を指定すると、その前を通過した映像を時間順で最新のものから表示して良い。
この様にすることにより、ユーザは、例えば、ラーメン店の行列の映像RMを携帯情報端末で事前に閲覧し、有名ラーメン店の前に並んでいる人の数を確認したり、ガソリンスタンドの映像GSの価格情報を見るといった利用が可能となる。
上記に加えて、ある地点を指定した場合に、それ以降にその場所の画像が撮られる度にユーザに通知を出して良い。
更に、クラウドCDに接続されたサーバ等は、上記データからリアルタイムのガソリンスタンドの値段を一覧できるデータベースを作成して良い。
本発明の情報処理装置1の一実施形態によれば、図9に示すように、自動車の運転中に2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影したARナビゲーションで使用する背景映像のデータをクラウドCDにアップロードすることで、ストリートビューの地図上のポイントに対して、そこをナビゲーションサービスなどで通過した背景映像を表示することで、ほぼリアルタイムのストリートビューを表示する機能を提供することができる。
ここで、ほぼリアルタイムのストリートビューには、絶対時刻だけではなく、相対時間つまり、何分前の情報かを表示させて良い。
また、クラウドCDに接続されたサーバ等は、複数台のカメラ映像を組み合わせて、映像を作成して良い。
また、情報処理装置1は、ある地点を指定すると、その前を通過した映像を時間順で最新のものから表示して良い。
この様にすることにより、ユーザは、例えば、ラーメン店の行列の映像RMを携帯情報端末で事前に閲覧し、有名ラーメン店の前に並んでいる人の数を確認したり、ガソリンスタンドの映像GSの価格情報を見るといった利用が可能となる。
上記に加えて、ある地点を指定した場合に、それ以降にその場所の画像が撮られる度にユーザに通知を出して良い。
更に、クラウドCDに接続されたサーバ等は、上記データからリアルタイムのガソリンスタンドの値段を一覧できるデータベースを作成して良い。
従来の情報処理装置では、本体とカメラは固定されており、本体の向きとカメラの向きは同じであったが、カメラが回転する情報処理装置1の場合は、本体とカメラの向きは、異なっている場合が多いので、それぞれに向きを判定する仕組みが情報処理装置1には必要となる。
そこで、本発明の情報処理装置1の一実施形態は、図10又は図11に示すように、被写体を撮像する撮像部と、前記撮像部により撮像される前記被写体を含む撮像画像を表示する表示部が所定の一面に配置された、前記撮像部よりも容積が大きい本体部と、前記撮像部の光軸方向と前記表示部の法線方向とのなす角度を変化させるように前記撮像部を、前記表示部の短手方向に平行な回転軸で両持ち軸支しながら、前記本体部に対して相対的に回動可能に支持するヒンジ部と、前記本体部の前記一面と対向する他の一面に設けられ、前記ヒンジ部により前記他の一面側に回転された前記撮像部を前記本体部と厚み方向で重なる形で収容可能な凹みと、前記本体部に配置され、単体で前記本体部の方向を検出する第1センサと、前記撮像部に配置され、単体で前記撮像部の方向を検出する第2センサと、を備える。そして、前記第2のセンサにより検出された前記撮像部の方向に基づき、デジタル写真ファイルに方向の情報を付与するよう構成される。
本発明の情報処理装置1の一実施形態によれば、図10又は図11に示すように、ホール素子で、カメラの画面との相対角度に合わせて画面を切り替えて、加速度センサで、写真の方向の情報を付加する。
図10は、情報処理装置1が横位置の状態で、本体とは異なる方向に向けたカメラによる撮像時の方向の情報を写真に付加している様子、ならびに表示の仕方を示す図である。
図10(A)は、横位置の状態での使用状態であり、回動軸Z1及び回動軸Z3を中心にカメラ21を回動させた場合の共通の本体姿勢を示している。即ち、表示部13は略垂直でユーザ側に向けられており、表示部13の背面側には、リアカメラであれば撮像可能な位置関係に、被写体が存在していることを示している。
図10(B)は、横位置の状態での、通常のリアカメラと同様の使用状態であり、本体と同じ、上下(天地)の情報が、写真に付加される。
図10(C)は、横位置の状態で、回動軸Z1を中心にカメラ21を90度回動した状態である。係る状態においては、情報処理装置1は、上下については表示を反転させないが、左右については鏡モードがONであれば、表示が左右で反転する切り替えポイントである。鏡モードとは、ディスプレイに表示しているカメラの撮像画像を左右反転させて鏡のように表示し、撮影するモードのことで、通常、情報処理装置は、ONになっている場合が多い。もちろん、ユーザが設定することも可能になっている場合が多い。即ち、回動軸Z1を中心にカメラ21を略90度以上又は略90度を超えて回動させることにより、左右については鏡モードがONの場合、反転をさせることとなる。
図10(D)は、横位置の状態で、回動軸Z1を中心にカメラ21を180度回動した状態である。係る状態においては、上下は反転させないが、鏡モードがONなら、左右を反転させる。
図10(E)は、横位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を45度回動した状態である。係る状態においては、上下は反転させないが、鏡モードがONなら、左右を反転させる。
図10(F)は、横位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を90度回動した状態である。係る状態においては、上下については反転を切替ポイントであると同時に、左右についても、反転をさせる鏡モードがONなら、表示の切替ポイントである。
図10(G)は、横位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を180度回動した状態である。係る状態においては、上下については反転させ、左右については(C)の段階と、(F)の段階で切り替わり、もとに戻ったので、反転をさせない。
そこで、本発明の情報処理装置1の一実施形態は、図10又は図11に示すように、被写体を撮像する撮像部と、前記撮像部により撮像される前記被写体を含む撮像画像を表示する表示部が所定の一面に配置された、前記撮像部よりも容積が大きい本体部と、前記撮像部の光軸方向と前記表示部の法線方向とのなす角度を変化させるように前記撮像部を、前記表示部の短手方向に平行な回転軸で両持ち軸支しながら、前記本体部に対して相対的に回動可能に支持するヒンジ部と、前記本体部の前記一面と対向する他の一面に設けられ、前記ヒンジ部により前記他の一面側に回転された前記撮像部を前記本体部と厚み方向で重なる形で収容可能な凹みと、前記本体部に配置され、単体で前記本体部の方向を検出する第1センサと、前記撮像部に配置され、単体で前記撮像部の方向を検出する第2センサと、を備える。そして、前記第2のセンサにより検出された前記撮像部の方向に基づき、デジタル写真ファイルに方向の情報を付与するよう構成される。
本発明の情報処理装置1の一実施形態によれば、図10又は図11に示すように、ホール素子で、カメラの画面との相対角度に合わせて画面を切り替えて、加速度センサで、写真の方向の情報を付加する。
図10は、情報処理装置1が横位置の状態で、本体とは異なる方向に向けたカメラによる撮像時の方向の情報を写真に付加している様子、ならびに表示の仕方を示す図である。
図10(A)は、横位置の状態での使用状態であり、回動軸Z1及び回動軸Z3を中心にカメラ21を回動させた場合の共通の本体姿勢を示している。即ち、表示部13は略垂直でユーザ側に向けられており、表示部13の背面側には、リアカメラであれば撮像可能な位置関係に、被写体が存在していることを示している。
図10(B)は、横位置の状態での、通常のリアカメラと同様の使用状態であり、本体と同じ、上下(天地)の情報が、写真に付加される。
図10(C)は、横位置の状態で、回動軸Z1を中心にカメラ21を90度回動した状態である。係る状態においては、情報処理装置1は、上下については表示を反転させないが、左右については鏡モードがONであれば、表示が左右で反転する切り替えポイントである。鏡モードとは、ディスプレイに表示しているカメラの撮像画像を左右反転させて鏡のように表示し、撮影するモードのことで、通常、情報処理装置は、ONになっている場合が多い。もちろん、ユーザが設定することも可能になっている場合が多い。即ち、回動軸Z1を中心にカメラ21を略90度以上又は略90度を超えて回動させることにより、左右については鏡モードがONの場合、反転をさせることとなる。
図10(D)は、横位置の状態で、回動軸Z1を中心にカメラ21を180度回動した状態である。係る状態においては、上下は反転させないが、鏡モードがONなら、左右を反転させる。
図10(E)は、横位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を45度回動した状態である。係る状態においては、上下は反転させないが、鏡モードがONなら、左右を反転させる。
図10(F)は、横位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を90度回動した状態である。係る状態においては、上下については反転を切替ポイントであると同時に、左右についても、反転をさせる鏡モードがONなら、表示の切替ポイントである。
図10(G)は、横位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を180度回動した状態である。係る状態においては、上下については反転させ、左右については(C)の段階と、(F)の段階で切り替わり、もとに戻ったので、反転をさせない。
図11は、図1の情報処理装置が縦位置の状態で、本体とは異なる方向に向けたカメラによる撮像時の上下(天地)の情報を写真に付加している様子、ならびに表示の仕方を示す図である。
図11(A)は、縦位置の状態での使用状態であり、回動軸Z1及び回動軸Z3を中心にカメラ21を回動させた場合の共通の本体姿勢を示している。即ち、表示部13は略垂直でユーザ側に向けられており、表示部13の背面側には、リアカメラであれば撮像可能な位置関係に、被写体が存在していることを示している。
図11(B)は、縦位置の状態での、通常のリアカメラと同様の使用状態であり、本体と同じ、上下(天地)の情報が、写真に付加される。
図11(C)は、縦位置の状態で、回動軸Z1を中心にカメラ21を90度回動した状態である。係る状態においては、上下については反転する切替ポイントであると同時に、左右についても、反転をさせる鏡モードがONなら、表示の切替ポイントである。
図11(D)は、縦位置の状態で、回動軸Z1を中心にカメラ21を180度回動した状態である。係る状態においては、上下については反転させ、鏡モードがONなら、左右についても反転をさせる。
図11(E)は、縦位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を45度回動した状態である。係る状態においては、上下については反転させ、鏡モードがONなら、左右についても反転をさせる。
図11(F)は、縦位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を90度回動した状態である。係る状態においては、上下については反転させる。左右については、鏡モードがONなら、反転をさせる切り替えポイントである。
図11(G)は、縦位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を180度回動した状態である。係る状態においては、上下については反転させ、左右については、左右については(C)の段階と、(F)の段階で切り替わり、もとに戻ったので、反転をさせない。
図11(A)は、縦位置の状態での使用状態であり、回動軸Z1及び回動軸Z3を中心にカメラ21を回動させた場合の共通の本体姿勢を示している。即ち、表示部13は略垂直でユーザ側に向けられており、表示部13の背面側には、リアカメラであれば撮像可能な位置関係に、被写体が存在していることを示している。
図11(B)は、縦位置の状態での、通常のリアカメラと同様の使用状態であり、本体と同じ、上下(天地)の情報が、写真に付加される。
図11(C)は、縦位置の状態で、回動軸Z1を中心にカメラ21を90度回動した状態である。係る状態においては、上下については反転する切替ポイントであると同時に、左右についても、反転をさせる鏡モードがONなら、表示の切替ポイントである。
図11(D)は、縦位置の状態で、回動軸Z1を中心にカメラ21を180度回動した状態である。係る状態においては、上下については反転させ、鏡モードがONなら、左右についても反転をさせる。
図11(E)は、縦位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を45度回動した状態である。係る状態においては、上下については反転させ、鏡モードがONなら、左右についても反転をさせる。
図11(F)は、縦位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を90度回動した状態である。係る状態においては、上下については反転させる。左右については、鏡モードがONなら、反転をさせる切り替えポイントである。
図11(G)は、縦位置の状態で、回動軸Z1を中心にカメラ21を180度回動させ、回動軸Z3を中心にカメラ21を180度回動した状態である。係る状態においては、上下については反転させ、左右については、左右については(C)の段階と、(F)の段階で切り替わり、もとに戻ったので、反転をさせない。
従来の情報処理装置でも、例えばサムスン社の製品である「Galaxy note 9」のようにシャッターリモコンを本体から取り外し可能としているものがあるが、そのシャッター用のボタンは、本体に装着された状態では押すことができなかった。
本発明の情報処理装置1の一実施形態によれば、図12に示すように、シャッターリモコンRCを情報処理装置1の本体から取り外し式にする。
図12(A)は、本体に装着した状態のシャッターリモコンRCを示している。
シャッターリモコンRCは本体の横に固定することにより、シャッターリモコンRCが備えるシャッターボタンを本体装着時にも押せるようにする。なお、シャッターリモコンRCのボタンより先の部分は、本体内部に収納されて良い。また、シャッターリモコンRCは、本体装着時は、本体から電力の供給を受けて良い。また、シャッターリモコンRCは、本体装着時は、本体と接触式で通信をして良い。これにより、ディスプレイ上に表示されるボタン以外に、物理的なシャッターボタンを設けることができ、使い勝手及び操作感が向上する。
図12(B)は、本体から取り外した状態のシャッターリモコンRCを示している。
即ち、本体装着時もボタンを押すとシャッターを切ることができ、本体から外しても、電池またはキャパシタに電気を蓄えることによって、シャッターをリモートで切ることができる。
また、シャッターリモコンRCにマイクが搭載されていて、音声でコマンドをリモートで情報処理装置1に送ることができて良い。
本発明の情報処理装置1の一実施形態によれば、図12に示すように、シャッターリモコンRCを情報処理装置1の本体から取り外し式にする。
図12(A)は、本体に装着した状態のシャッターリモコンRCを示している。
シャッターリモコンRCは本体の横に固定することにより、シャッターリモコンRCが備えるシャッターボタンを本体装着時にも押せるようにする。なお、シャッターリモコンRCのボタンより先の部分は、本体内部に収納されて良い。また、シャッターリモコンRCは、本体装着時は、本体から電力の供給を受けて良い。また、シャッターリモコンRCは、本体装着時は、本体と接触式で通信をして良い。これにより、ディスプレイ上に表示されるボタン以外に、物理的なシャッターボタンを設けることができ、使い勝手及び操作感が向上する。
図12(B)は、本体から取り外した状態のシャッターリモコンRCを示している。
即ち、本体装着時もボタンを押すとシャッターを切ることができ、本体から外しても、電池またはキャパシタに電気を蓄えることによって、シャッターをリモートで切ることができる。
また、シャッターリモコンRCにマイクが搭載されていて、音声でコマンドをリモートで情報処理装置1に送ることができて良い。
図13は、図1の情報処理装置とは異なる、固定式カメラを備える情報処理装置SPのフロントカメラの前に鏡MLをセットして、本の自動翻訳や領収書データの読み込みをしている様子を示す図である。
図13(A)は、フロントカメラの前に鏡MLをセットして、本の自動翻訳をしている例での様子を示している。
図13(B)は、実際の鏡MLによる反射画像の例を示している。
図13(C)は、台BSに乗せた固定式カメラを備える情報処理装置SPのフロントカメラの前に鏡MLをセットした場合の撮像可能範囲の例を示している。
最初に、情報処理装置SPのフロントカメラに鏡MLを取り付け、情報処理装置SPの本の自動翻訳音読アプリを起動し、翻訳先の言語を指定する。初期設定はOSの言語で良く、次回以降は、この指定を省略しても良い。本の翻訳+音読アプリで鏡MLに写った書物のタイトルをフロントカメラで撮影する。
ただし、フロントカメラで撮影する場合、鏡MLを取り付けると、プロントカメラで撮像される画像は、鏡像になり、鏡モードがONであれば、鏡像の鏡像になるため、正しい向きに戻るので、鏡モードはONにする必要がある。
その後、必要に応じて、撮影した画像の補正を行う。例えば、本の回転、本の湾曲補正、本の台形補正、本のコントラストの調整、本部分だけの切り抜き、写り込んでしまった指の削除等を行い、文字を認識しやすい状態に変換してから、OCR(Optical Character Recognition/Reader)を掛けることで、一つの文字や数字や単語ではなく、テキストを文章として認識及び抽出する。テキストの内容から、本に記載されている言語を特定する。これらの処理の際に、AIによる画像認識、AIによる文章解析を行い、OCRでテキスト化したことで誤読しているテキストを自動またはユーザによる手入力で修正する。テキストデータは、クラウドCDの翻訳サービスに送信され、元の言語を認識し、設定中の言語に翻訳を行い、対訳データを瞬時に情報処理装置SPに送信する。
図13(A)は、フロントカメラの前に鏡MLをセットして、本の自動翻訳をしている例での様子を示している。
図13(B)は、実際の鏡MLによる反射画像の例を示している。
図13(C)は、台BSに乗せた固定式カメラを備える情報処理装置SPのフロントカメラの前に鏡MLをセットした場合の撮像可能範囲の例を示している。
最初に、情報処理装置SPのフロントカメラに鏡MLを取り付け、情報処理装置SPの本の自動翻訳音読アプリを起動し、翻訳先の言語を指定する。初期設定はOSの言語で良く、次回以降は、この指定を省略しても良い。本の翻訳+音読アプリで鏡MLに写った書物のタイトルをフロントカメラで撮影する。
ただし、フロントカメラで撮影する場合、鏡MLを取り付けると、プロントカメラで撮像される画像は、鏡像になり、鏡モードがONであれば、鏡像の鏡像になるため、正しい向きに戻るので、鏡モードはONにする必要がある。
その後、必要に応じて、撮影した画像の補正を行う。例えば、本の回転、本の湾曲補正、本の台形補正、本のコントラストの調整、本部分だけの切り抜き、写り込んでしまった指の削除等を行い、文字を認識しやすい状態に変換してから、OCR(Optical Character Recognition/Reader)を掛けることで、一つの文字や数字や単語ではなく、テキストを文章として認識及び抽出する。テキストの内容から、本に記載されている言語を特定する。これらの処理の際に、AIによる画像認識、AIによる文章解析を行い、OCRでテキスト化したことで誤読しているテキストを自動またはユーザによる手入力で修正する。テキストデータは、クラウドCDの翻訳サービスに送信され、元の言語を認識し、設定中の言語に翻訳を行い、対訳データを瞬時に情報処理装置SPに送信する。
なお、本実施形態では、クラウドCDの翻訳サービスを用いて翻訳したが、この他、情報処理装置SP単体で翻訳してもよい。必要に応じて、翻訳されたテキストデータから音読データを作り出す。音読データは、クラウドCDで作成しても良く、また情報処理装置SP単体で作成しても良い。
その後、情報処理装置SPの表示部に、元の本の言語のテキストと翻訳した言語のテキストとを共に表示し、情報処理装置SPのスピーカで音読データを再生する。
元の本のテキストデータとその対訳データ以外にも、現在、フロントカメラが撮影中の画像を小さく表示しても良い。これにより、ユーザは、フロントカメラから本がずれている等の情報がほぼリアルタイムで把握できる。表示されたテキストに対してユーザが修正を加えたい場合は、修正機能によりテキストを修正可能とした上で手入力で行う。これは、翻訳動作の途中に割り込ませることになる。
本のタイトルが確定した際には、そのタイトルと既存の本のデータベースや既に電子書籍化されたリファレンスデータに同一のものがないかを検索し、以前の翻訳終了位置がわかれば、それをユーザに情報処理装置SPを通じて伝えるようにしても良い。
その後、情報処理装置SPの表示部に、元の本の言語のテキストと翻訳した言語のテキストとを共に表示し、情報処理装置SPのスピーカで音読データを再生する。
元の本のテキストデータとその対訳データ以外にも、現在、フロントカメラが撮影中の画像を小さく表示しても良い。これにより、ユーザは、フロントカメラから本がずれている等の情報がほぼリアルタイムで把握できる。表示されたテキストに対してユーザが修正を加えたい場合は、修正機能によりテキストを修正可能とした上で手入力で行う。これは、翻訳動作の途中に割り込ませることになる。
本のタイトルが確定した際には、そのタイトルと既存の本のデータベースや既に電子書籍化されたリファレンスデータに同一のものがないかを検索し、以前の翻訳終了位置がわかれば、それをユーザに情報処理装置SPを通じて伝えるようにしても良い。
次に、本の中身の翻訳プロセスを説明する。
上述したタイトルの翻訳プロセスとほぼ同じであるが、前のページで完成していない文章があれば、今のページの文章と合わせて、1文として完成させてから翻訳することが、違いである。
更に、過去のデータベースやリファレンスデータと同じデータがあれば、その過去のデータやリファレンスデータをもってくることも追加プロセスとして考えられる。
翻訳したいページがまだあれば、本のページをめくる、または隣の次のページを撮影することで、再度、翻訳のプロセスがスタートする。
本発明は、書物の1ページ1ページをいちいちシャッターを押すことなく静止画として撮影し、ページがめくられたことや撮像画像が大きく変わったこと、例えば、カメラが撮影しているページをユーザが意図的に左のページから右のページにずらしたりしたときに、これを検出してページを再度読み込み、前述した一連の翻訳のプロセスを繰り返し、翻訳を行う。
ページの再読込は、音声で行っても良く、また音で行っても良い。さらに、ページの再読込は、画面上のボタンやリモコンで行っても良い。
これ以外にも、一部を翻訳して途中から翻訳プロセスをスキップして、翻訳済みの電子書籍化されたリファレンスデータを使っても良い。一度翻訳を行い、翻訳を停止した際には、ページとページ内の位置を覚えておき、次回、再開するときには、翻訳を停止したページを表示や音読でユーザに通知しても良い。
音読プロセスは、翻訳プロセスとほぼ同様で、翻訳を掛けずにOCRでテキスト化したデータを音読することになる。音読のプロセスは、翻訳のプロセスから翻訳する箇所だけを抜いたものになる。
本に限らず、紙媒体のテキスト化もほぼ同様で、翻訳や音読のプロセスをスキップし、テキストを表示させたものになる。表示するだけではなく、領収書などのデータは、入力項目を理解し、適切な項目として、数字やテキストを自動でカラムに入力する。例えば、領収書の金額や日付や宛名などを正しく自動入力できる。
スマートフンタイプの情報処理装置以外にも、ノート型のコンピュータ(以下「パソコン」と呼ぶ)のフロントカメラに鏡MLを装着して、机の上のユーザ本や領収書などの紙のデータを読み取ることも可能である。
パソコンのフロントカメラに付ける鏡の場合、パソコンの表示部の上にカメラが搭載していることが多く、表示部の角度はユーザが自由に変えられるので、鏡の角度を自由に変えられる回転機構を搭載しても良い。
撮影された本、領収書などにOCRを掛けることで、テキストデータを認識し、入力することができるようになる。ユーザは、情報処理装置1をほとんど操作する必要なく、領収書などを並べることに集中するだけで良く、動作が大幅に省略できる。特に机のような平面の上でやると、領収書などを並べやすい。
更に、情報処理装置SPに取り付ける鏡MLは、普通の平面の鏡ではなく、凸面鏡等の広角鏡を使えば、より広い画角で撮影できるので、書物を見開きでフロントカメラで撮影でき、書物を左右に移動させたりする手間を省くことができる。また、情報処理装置SPを置くスタンドの高さを低くできるメリットもある。ただし、このようなメリットだけではなく、デメリットとしては、歪が大きく撮影されてしまうので、撮像画像については補正が必要になる場合がある。
上述したタイトルの翻訳プロセスとほぼ同じであるが、前のページで完成していない文章があれば、今のページの文章と合わせて、1文として完成させてから翻訳することが、違いである。
更に、過去のデータベースやリファレンスデータと同じデータがあれば、その過去のデータやリファレンスデータをもってくることも追加プロセスとして考えられる。
翻訳したいページがまだあれば、本のページをめくる、または隣の次のページを撮影することで、再度、翻訳のプロセスがスタートする。
本発明は、書物の1ページ1ページをいちいちシャッターを押すことなく静止画として撮影し、ページがめくられたことや撮像画像が大きく変わったこと、例えば、カメラが撮影しているページをユーザが意図的に左のページから右のページにずらしたりしたときに、これを検出してページを再度読み込み、前述した一連の翻訳のプロセスを繰り返し、翻訳を行う。
ページの再読込は、音声で行っても良く、また音で行っても良い。さらに、ページの再読込は、画面上のボタンやリモコンで行っても良い。
これ以外にも、一部を翻訳して途中から翻訳プロセスをスキップして、翻訳済みの電子書籍化されたリファレンスデータを使っても良い。一度翻訳を行い、翻訳を停止した際には、ページとページ内の位置を覚えておき、次回、再開するときには、翻訳を停止したページを表示や音読でユーザに通知しても良い。
音読プロセスは、翻訳プロセスとほぼ同様で、翻訳を掛けずにOCRでテキスト化したデータを音読することになる。音読のプロセスは、翻訳のプロセスから翻訳する箇所だけを抜いたものになる。
本に限らず、紙媒体のテキスト化もほぼ同様で、翻訳や音読のプロセスをスキップし、テキストを表示させたものになる。表示するだけではなく、領収書などのデータは、入力項目を理解し、適切な項目として、数字やテキストを自動でカラムに入力する。例えば、領収書の金額や日付や宛名などを正しく自動入力できる。
スマートフンタイプの情報処理装置以外にも、ノート型のコンピュータ(以下「パソコン」と呼ぶ)のフロントカメラに鏡MLを装着して、机の上のユーザ本や領収書などの紙のデータを読み取ることも可能である。
パソコンのフロントカメラに付ける鏡の場合、パソコンの表示部の上にカメラが搭載していることが多く、表示部の角度はユーザが自由に変えられるので、鏡の角度を自由に変えられる回転機構を搭載しても良い。
撮影された本、領収書などにOCRを掛けることで、テキストデータを認識し、入力することができるようになる。ユーザは、情報処理装置1をほとんど操作する必要なく、領収書などを並べることに集中するだけで良く、動作が大幅に省略できる。特に机のような平面の上でやると、領収書などを並べやすい。
更に、情報処理装置SPに取り付ける鏡MLは、普通の平面の鏡ではなく、凸面鏡等の広角鏡を使えば、より広い画角で撮影できるので、書物を見開きでフロントカメラで撮影でき、書物を左右に移動させたりする手間を省くことができる。また、情報処理装置SPを置くスタンドの高さを低くできるメリットもある。ただし、このようなメリットだけではなく、デメリットとしては、歪が大きく撮影されてしまうので、撮像画像については補正が必要になる場合がある。
従来の情報処理装置(例えはスマートフォン)では、屋外を歩きながら、ARのゲームを楽しむ際には、スマートフォンを垂直に立てながら、周辺を撮影する必要があり、歩きながら、スマートフォンを垂直に保つのは、不自然な持ち方になり、疲れてしまう。よって、ARによる歩きながらのゲームは一般的ではなく、ほとんど使われていない。よって、歩行者(A)Rゲームはあまり行われていない。
本発明の情報処理装置1の一実施形態によれば、図8に示したように、2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影した画像に対して、ディスプレイを見やすい角度で保持した状態でカメラを進行方向に向けることができるので、ARによるゲームが行える。よって、同時に参加している人と協力するとか戦うなどが、可能となる。
即ち、図14に示す例においては、2人のプレーヤの位置に応じて、1のゲームキャラクタGCを、情報処理装置1-1には背後から撮像しているとするARのゲーム画像G1が表示され、情報処理装置1-2には正面から撮像しているとするARのゲーム画像G2が表示されるのである。
本発明の情報処理装置1の一実施形態によれば、図8に示したように、2軸回転カメラ、1軸回転カメラ、又は360度カメラで撮影した画像に対して、ディスプレイを見やすい角度で保持した状態でカメラを進行方向に向けることができるので、ARによるゲームが行える。よって、同時に参加している人と協力するとか戦うなどが、可能となる。
即ち、図14に示す例においては、2人のプレーヤの位置に応じて、1のゲームキャラクタGCを、情報処理装置1-1には背後から撮像しているとするARのゲーム画像G1が表示され、情報処理装置1-2には正面から撮像しているとするARのゲーム画像G2が表示されるのである。
従来の情報処理装置では、カメラが電動で回転したりしないので、音源SSを追跡して撮影することは容易ではなかった。
本発明の情報処理装置1の一実施形態によれば、図15に示すように、2軸回転カメラ、1軸回転カメラで撮影している最中に、複数のマイクを使って、音が鳴っている方向に電動でカメラを向かせる機能である。即ち、音と何かしら連動してカメラ21が回転する機能を提供することができる。
ユーザは、自分たちで撮影出来ていることをある程度確認できるように、情報処理装置1を机等の上に置くことが好適である。
本発明の情報処理装置1の一実施形態によれば、図15に示すように、2軸回転カメラ、1軸回転カメラで撮影している最中に、複数のマイクを使って、音が鳴っている方向に電動でカメラを向かせる機能である。即ち、音と何かしら連動してカメラ21が回転する機能を提供することができる。
ユーザは、自分たちで撮影出来ていることをある程度確認できるように、情報処理装置1を机等の上に置くことが好適である。
従来の情報処理装置では、紙媒体等に記載された問題を教育に利用することは、容易ではなかった。紙をカメラで撮影するには、ある程度の高さが必要となり、従来の情報処理装置では、フロントカメラで紙を撮影するには、前述したような鏡を使うか、カメラが回転する必要があるからである。
本発明の情報処理装置1の一実施形態によれば、図16に示すように、2軸回転カメラ、1軸回転カメラ、又は360度カメラで紙等に書かれた問題を撮影すると、自動で、AIが問題のヒント、例えば、図形問題の補助線ALを引く等が与えられる。
図16(A)は、情報処理装置1を用いて問題用紙QPを撮像する様子を示している。
図16(B)は、問題用紙QPに記載された問題から、処理の対象とする問題PQが、情報処理装置1に認識されたことを示している。
図16(C)は、問題PQについて、情報処理装置1が備えるAIがヒント、例えば、図形問題の補助線ALを引く等、を与えている問題画像QGの例を示している。
図13のような鏡をフロントカメラに装着して、このような問題を撮影し、問題のヒントを与えても良い。
本発明の情報処理装置1の一実施形態によれば、図16に示すように、2軸回転カメラ、1軸回転カメラ、又は360度カメラで紙等に書かれた問題を撮影すると、自動で、AIが問題のヒント、例えば、図形問題の補助線ALを引く等が与えられる。
図16(A)は、情報処理装置1を用いて問題用紙QPを撮像する様子を示している。
図16(B)は、問題用紙QPに記載された問題から、処理の対象とする問題PQが、情報処理装置1に認識されたことを示している。
図16(C)は、問題PQについて、情報処理装置1が備えるAIがヒント、例えば、図形問題の補助線ALを引く等、を与えている問題画像QGの例を示している。
図13のような鏡をフロントカメラに装着して、このような問題を撮影し、問題のヒントを与えても良い。
従来の情報処理装置では、折りたたみ式のスタンドで自立安定させることは容易ではなかった。
本発明の情報処理装置1の一実施形態によれば、図17に示すように、折りたたみ式のスタンド14は、スマートフォン本体の重心を考慮して配設する。
図17(A)は、情報処理装置1を自立させた場合の、情報処理装置1本体と、折りたたみ式のスタンド14とが接地する3点で囲まれる領域を示す図である。
即ち、情報処理装置1を、例えば机に置いた場合に、机の表面に三角形を描くとして、三角形の頂点は、机と接しているスタンド14の先端の頂点VA、情報処理装置1の本体角の頂点VB、及び情報処理装置1の本体角の頂点VCの3つになることを示している。
図17(B)は、情報処理装置1を自立させた場合における、情報処理装置1本体の重心の位置と、接地する3点で囲まれる領域との、真上から見下ろした場合の位置関係を示す図である。
即ち、情報処理装置1本体の重心Gの位置の真下にある点が、接地する3頂点VA、VB及びVCで囲まれる領域内であって、これらの2点を繋ぐ直線である如何なる3辺からも遠く、かつ、情報処理装置1本体の重心Gを低くすることを考慮して、折りたたみ式のスタンド14を配設する。
この様にすることにより、情報処理装置1を自立させた場合に、より安定させることが可能になる。
スタンドと机との接点が、図17(A)のように1つではなく、接点が複数、例えば、2つあるときであれば、情報処理装置1の本体角の頂点VB、及び情報処理装置1の本体角の頂点VCの2点と合わせて、4点で構成される四角形の中に、真上から見下ろした場合の情報処理装置1本体の重心Gがはいれば、情報処理装置1を自立させた場合に、より安定させることが可能になる。
本発明の情報処理装置1の一実施形態によれば、図17に示すように、折りたたみ式のスタンド14は、スマートフォン本体の重心を考慮して配設する。
図17(A)は、情報処理装置1を自立させた場合の、情報処理装置1本体と、折りたたみ式のスタンド14とが接地する3点で囲まれる領域を示す図である。
即ち、情報処理装置1を、例えば机に置いた場合に、机の表面に三角形を描くとして、三角形の頂点は、机と接しているスタンド14の先端の頂点VA、情報処理装置1の本体角の頂点VB、及び情報処理装置1の本体角の頂点VCの3つになることを示している。
図17(B)は、情報処理装置1を自立させた場合における、情報処理装置1本体の重心の位置と、接地する3点で囲まれる領域との、真上から見下ろした場合の位置関係を示す図である。
即ち、情報処理装置1本体の重心Gの位置の真下にある点が、接地する3頂点VA、VB及びVCで囲まれる領域内であって、これらの2点を繋ぐ直線である如何なる3辺からも遠く、かつ、情報処理装置1本体の重心Gを低くすることを考慮して、折りたたみ式のスタンド14を配設する。
この様にすることにより、情報処理装置1を自立させた場合に、より安定させることが可能になる。
スタンドと机との接点が、図17(A)のように1つではなく、接点が複数、例えば、2つあるときであれば、情報処理装置1の本体角の頂点VB、及び情報処理装置1の本体角の頂点VCの2点と合わせて、4点で構成される四角形の中に、真上から見下ろした場合の情報処理装置1本体の重心Gがはいれば、情報処理装置1を自立させた場合に、より安定させることが可能になる。
従来の情報処理装置では、写真を撮影しようとしている位置の情報に基づいて、過去に撮影された写真の中から、同じまたは近い位置で撮影された写真を探し出す機能は無かった。
本発明の情報処理装置1の一実施形態によれば、図27に示すように、同じロケーションで撮影した過去の写真の存在を教示し、当該写真を表示する。この様にすることにより、ユーザは、例えば過去、子どもたちとこの場所で撮った写真と同じポーズを取って撮像し、情報処理装置1は、並べて対比して表示する等が可能となる。
この場合に、情報処理装置1は、自宅等を非表示エリアとして、機能を制限して良い。この様にすることにより、情報処理装置1は、大量の写真が該当することを防ぐことができる。
図18(A)は、同じロケーションで撮影した過去の写真OPの存在を教示するメッセージMSの例を示している。
図18(B)は、同じロケーションで撮影した過去の写真OPの小窓表示と、半透過でカメラ撮像画像との重ね合わせ表示をさせる半透過ボタンHBの表示の例を示している。
図18(C)は、同じロケーションで撮影した過去の写真OPの半透過画像と、カメラ撮像画像との重ね合わせ表示の例を示している。
本発明の情報処理装置1の一実施形態によれば、図27に示すように、同じロケーションで撮影した過去の写真の存在を教示し、当該写真を表示する。この様にすることにより、ユーザは、例えば過去、子どもたちとこの場所で撮った写真と同じポーズを取って撮像し、情報処理装置1は、並べて対比して表示する等が可能となる。
この場合に、情報処理装置1は、自宅等を非表示エリアとして、機能を制限して良い。この様にすることにより、情報処理装置1は、大量の写真が該当することを防ぐことができる。
図18(A)は、同じロケーションで撮影した過去の写真OPの存在を教示するメッセージMSの例を示している。
図18(B)は、同じロケーションで撮影した過去の写真OPの小窓表示と、半透過でカメラ撮像画像との重ね合わせ表示をさせる半透過ボタンHBの表示の例を示している。
図18(C)は、同じロケーションで撮影した過去の写真OPの半透過画像と、カメラ撮像画像との重ね合わせ表示の例を示している。
従来の情報処理装置では、分からない単語や食事の名称を検索する際には、テキストや写真情報から、検索するしかなく、検索された場所に基づいて該当する写真をWEB上から探し当てることは容易ではなかった。
本発明の情報処理装置1の一実施形態によれば、図28に示すように、例えばレストランメニューMNを撮影し、撮影した画像中の料理名OWをなぞると、翻訳文TWが表示されるだけではなく、GPSやWi-Fi(登録商標)の検索位置情報から、同じエリアで撮影された該当する料理画像写真IMを表示するアプリケーションソフトウェアを提供する。これにより、精度の高い写真検索が可能になる。
更に、料理名OWが地名由来である場合、情報処理装置1は、該当地点を表示する地図MP及び地名PWを、表示する。
本発明の情報処理装置1の一実施形態によれば、図28に示すように、例えばレストランメニューMNを撮影し、撮影した画像中の料理名OWをなぞると、翻訳文TWが表示されるだけではなく、GPSやWi-Fi(登録商標)の検索位置情報から、同じエリアで撮影された該当する料理画像写真IMを表示するアプリケーションソフトウェアを提供する。これにより、精度の高い写真検索が可能になる。
更に、料理名OWが地名由来である場合、情報処理装置1は、該当地点を表示する地図MP及び地名PWを、表示する。
図20は、情報処理装置1がスライド式回転カメラを備える場合における、形状を変化させた各状態を示す図である。
即ち、本体が、表示部13を備える正面側と、回転カメラ21のカメラ基部12-1及びカメラ指向部12-2を備える本体部11の背面側との少なくとも2つの部位からなるスライド可動部から構成されている情報処理装置1における、各状態を示している。
即ち、本体が、表示部13を備える正面側と、回転カメラ21のカメラ基部12-1及びカメラ指向部12-2を備える本体部11の背面側との少なくとも2つの部位からなるスライド可動部から構成されている情報処理装置1における、各状態を示している。
図20(A)は、2つのスライド可動部分を、最大限重ねた状態を示す図である。
図20(B)は、2つのスライド可動部分を、最大限スライドさせた状態を示す図である。なお、図中、符号Pは、カメラ指向部12-2(回転カメラ21)の回転方向を示している。
図20(C)は、2つのスライド可動部分を、最大限スライドさせて、回転カメラ21を回転させた状態を示す図である。表示部13と本体部11とを相対的にスライドさせることによって、カメラ基部12-1とカメラ指向部12-2を含むカメラ部全体を180度以上回転させることが可能になっている。相対的にスライドとは、本体部11をもって表示部13を指で押してスライドさせたり、その逆もあることをいう。
図20(B)は、2つのスライド可動部分を、最大限スライドさせた状態を示す図である。なお、図中、符号Pは、カメラ指向部12-2(回転カメラ21)の回転方向を示している。
図20(C)は、2つのスライド可動部分を、最大限スライドさせて、回転カメラ21を回転させた状態を示す図である。表示部13と本体部11とを相対的にスライドさせることによって、カメラ基部12-1とカメラ指向部12-2を含むカメラ部全体を180度以上回転させることが可能になっている。相対的にスライドとは、本体部11をもって表示部13を指で押してスライドさせたり、その逆もあることをいう。
スライド式回転カメラを備える情報処理装置1は、被写体を撮像する撮像部と、前記撮像部と厚み方向で重なり、前記撮像部により撮像される前記被写体を含む撮像画像を表示する表示部と、前記撮像部の光軸方向と前記表示部に対する法線方向とのなす角度を変化させるように、前記撮像部を前記表示部の短手方向に平行な第1の回転軸で両持ち軸支しながら、本体部に対して相対的に回動可能に支持するヒンジ部と、を備える。
前記撮像部は、前記第1の回転軸が表示部と厚み方向で重なる位置から重ならない位置まで、前記表示部に対して、相対的に平行移動可能である。
情報処理装置1の場合、スライド可動部分を最大限スライドさせた状態では、回転カメラ21は、0°から270°、さらにそれ以上の範囲が可動域となる。
なお、0°は、回転カメラ21が本体部11の溝又は切り欠き部に収容された状態(回転カメラ21と本体部11が厚み方向に重なった状態)である。180°は、回転カメラ21が本体部11の外部で直線状に並んだ状態である。180°を超えると、回転カメラ21は、本体部11の正面11a側に突出し、270°では、回転カメラ21の光軸が本体部11の真下に向いた状態である。
この様にすることにより、情報処理装置1は、表示部13の画面占有率を最大化しつつ、回転カメラの為の切り欠きを作らないデザインとすることが、可能となる。加えて、手などによる手動操作やボタンを押すなどの電動操作によって、表示部13をスライドさせると、カメラが自動で回転しても良い。これは、ねじりコイルばねや、モータによる電動回転でも行っても良い。
前記撮像部は、前記第1の回転軸が表示部と厚み方向で重なる位置から重ならない位置まで、前記表示部に対して、相対的に平行移動可能である。
情報処理装置1の場合、スライド可動部分を最大限スライドさせた状態では、回転カメラ21は、0°から270°、さらにそれ以上の範囲が可動域となる。
なお、0°は、回転カメラ21が本体部11の溝又は切り欠き部に収容された状態(回転カメラ21と本体部11が厚み方向に重なった状態)である。180°は、回転カメラ21が本体部11の外部で直線状に並んだ状態である。180°を超えると、回転カメラ21は、本体部11の正面11a側に突出し、270°では、回転カメラ21の光軸が本体部11の真下に向いた状態である。
この様にすることにより、情報処理装置1は、表示部13の画面占有率を最大化しつつ、回転カメラの為の切り欠きを作らないデザインとすることが、可能となる。加えて、手などによる手動操作やボタンを押すなどの電動操作によって、表示部13をスライドさせると、カメラが自動で回転しても良い。これは、ねじりコイルばねや、モータによる電動回転でも行っても良い。
図21は、図1の情報処理装置1の、2軸回転機構部の構造を示す図である。
図21(A)は、2軸回転機構部の筐体を示す図である。
図21(B)は、2軸回転機構部として、2軸ヒンジを使用した場合を示す図である。
図21(A)は、2軸回転機構部の筐体を示す図である。
図21(B)は、2軸回転機構部として、2軸ヒンジを使用した場合を示す図である。
図21(C)は、2軸回転機構部として、筐体そのものに回転軸を含むヒンジ機構を設けた構成例を示す図である。
図20(A)乃至図21(C)に示すように、情報処理装置1は、被写体を撮像する撮像部と、前記撮像部と厚み方向で重なり、前記撮像部により撮像される前記被写体を含む撮像画像を表示する表示部と、前記撮像部の光軸方向と前記表示部に対する法線方向とのなす角度を変化させるように、前記撮像部を前記表示部の短手方向に平行な第1の回転軸で両持ち軸支しながら、前記本体部に対して相対的に回動可能に支持するヒンジ部とを備える。
前記撮像部は、前記第1の回転軸が表示部と厚み方向で重なる位置から重ならない位置まで、前記表示部に対して、相対的に平行移動可能である。
前記撮像部は、前記ヒンジ部を駆動し前記撮像部を回転させる駆動部と、前記撮像部に対する移動指示に応じて、前記撮像部を指示方向へ回転させるように前記駆動部を制御する制御部とを含む。
前記撮像部は、前記表示部の長手方向に平行な第2の回転軸で回動可能である。
前記撮像部は、前記表示部と厚み方向で重ならない位置で、前記第2の回転軸で回動可能である。
前記表示部は、前記移動指示をタッチ操作で行うためのタッチパネルを含む。
前記ヒンジ部は、前記表示部の短手方向に対して平行に配置された第1の回転軸と、前記表示部の長手方向に対して平行に配置された第2の回転軸とを備える。前記第1の回転軸は、前記第2の回転軸を中心に前記撮像部を回動させる際、前記撮像部の回転に合わせて回転しないよう構成されている。
前記撮像部は、前記第1の回転軸が表示部と厚み方向で重なる位置から重ならない位置まで、前記表示部に対して、相対的に平行移動可能である。
前記撮像部は、前記ヒンジ部を駆動し前記撮像部を回転させる駆動部と、前記撮像部に対する移動指示に応じて、前記撮像部を指示方向へ回転させるように前記駆動部を制御する制御部とを含む。
前記撮像部は、前記表示部の長手方向に平行な第2の回転軸で回動可能である。
前記撮像部は、前記表示部と厚み方向で重ならない位置で、前記第2の回転軸で回動可能である。
前記表示部は、前記移動指示をタッチ操作で行うためのタッチパネルを含む。
前記ヒンジ部は、前記表示部の短手方向に対して平行に配置された第1の回転軸と、前記表示部の長手方向に対して平行に配置された第2の回転軸とを備える。前記第1の回転軸は、前記第2の回転軸を中心に前記撮像部を回動させる際、前記撮像部の回転に合わせて回転しないよう構成されている。
2軸回転機構部を駆動するモータやユーザの画面操作や遠隔からの操作に応じてモータを制御するコントローラ等を筐体内に設けるものとする。コントローラとして、特別なものを設けるのではなく、情報処理装置1のCPUにコントロールさせてもよい。
回転軸HS1、HS3の内部には、軸方向に貫通する空洞を設けて、中にFPCを通す、または、回転軸HS1、HS3の周りにFPCを巻く等の配線の実現方法が考えられる。
この様にすることにより、情報処理装置1は、2軸ヒンジを使用する場合と比較して、2軸回転機構部を、小型化することができる。
回転軸HS1、HS3の内部には、軸方向に貫通する空洞を設けて、中にFPCを通す、または、回転軸HS1、HS3の周りにFPCを巻く等の配線の実現方法が考えられる。
この様にすることにより、情報処理装置1は、2軸ヒンジを使用する場合と比較して、2軸回転機構部を、小型化することができる。
図22は、図1の情報処理装置の表示部の切欠き部に回転カメラを備える場合における、形状を変化させた各状態を示す図である。
図22(A)は、カメラをリアカメラとする状態を示す図である。
図22(B)は、カメラを回転させた状態を示す図である。
図22の情報処理装置1は、表示部13の一部を切り欠き(ノッチと呼ばれるもの)を設けて、当該切欠き部分に回転式カメラを備えている。
この様にすることにより、表示部13の本体に対する画面占有率を最大化しつつ、カメラ基部12-1とカメラ指向部12-2を180度以上回転させることが可能になっている。
図22(A)は、カメラをリアカメラとする状態を示す図である。
図22(B)は、カメラを回転させた状態を示す図である。
図22の情報処理装置1は、表示部13の一部を切り欠き(ノッチと呼ばれるもの)を設けて、当該切欠き部分に回転式カメラを備えている。
この様にすることにより、表示部13の本体に対する画面占有率を最大化しつつ、カメラ基部12-1とカメラ指向部12-2を180度以上回転させることが可能になっている。
一般に、自分が理解できない言語で書かれた書物を読むためには、その言語を習得し意味を理解するか、自分の母国語に翻訳されるまで待つ必要があり、海外の話題の本をすぐに読みたい人にとっては、大きなハードルがあった。日本で外国語の書物を読みたい人だけではなく、外国人も同じハードルがある。例えば、日本の漫画がすぐに母国語に翻訳されない時や、日本に居る外国人には、日本のガイドブックが分からない、日本で暮らす外国人にとって、外国人の子供の学校で配布されるプリント等の意味が分からないという不満を良く聞く。
このような不満を解決する方法の一つとして、図13のような形態で翻訳することが考えられる。
以下、翻訳機能とこの翻訳機能に加えて音読機能とを備える情報処理装置SPについて説明する。
(翻訳機能+音読機能)
図13に示した状態の情報処理装置SPとクラウドCD(図示せず)を含むシステムが行う翻訳及び音読の機能について詳細に説明する。クラウドCDは、AI翻訳機能や音読データ生成機能等を搭載するサーバである。
このシステムは、情報処理装置SPとクラウドCDがネットワークを介して接続されたものである。情報処理装置SPとクラウドCDとの間では、情報のやり取りが行われる。例えば情報処理装置SPは、フロントカメラで撮像した画像を含む翻訳や音読の処理の要求をクラウドCDへ送信し、要求に対してクラウドCDで処理した結果としてテキストデータや音読データを含む応答を受信する。
このような不満を解決する方法の一つとして、図13のような形態で翻訳することが考えられる。
以下、翻訳機能とこの翻訳機能に加えて音読機能とを備える情報処理装置SPについて説明する。
(翻訳機能+音読機能)
図13に示した状態の情報処理装置SPとクラウドCD(図示せず)を含むシステムが行う翻訳及び音読の機能について詳細に説明する。クラウドCDは、AI翻訳機能や音読データ生成機能等を搭載するサーバである。
このシステムは、情報処理装置SPとクラウドCDがネットワークを介して接続されたものである。情報処理装置SPとクラウドCDとの間では、情報のやり取りが行われる。例えば情報処理装置SPは、フロントカメラで撮像した画像を含む翻訳や音読の処理の要求をクラウドCDへ送信し、要求に対してクラウドCDで処理した結果としてテキストデータや音読データを含む応答を受信する。
情報処理装置SPは、装置本体に、無線通信部、CPU、メモリ、表示部、スピーカ、マイク、カメラを含む撮像部等を備える。無線通信部は、携帯通信網や無線LAN等を通じて他の情報処理装置(他のスマートフォンやクラウドCDのサーバ等)と通信を行う。メモリには、翻訳及び音読の処理を実行するアプリケーションソフトウェア(以下「自動翻訳音読アプリ」と称す)のソフトウェアがインストールされており、CPUがメモリの自動翻訳音読アプリを読み込むことで、翻訳と音読の機能を実現する。
自動翻訳音読アプリを読み込んだCPUは、撮像部の光軸方向を屈折させる、装置本体とは別体の鏡MLを介して、本を撮影させて得られた撮像画像をクラウドCDに送信し、クラウドCDにより、撮像画像に基づいて生成された文字列に対応するテキストデータを受信し、装置本体の表示部に表示する制御手段として機能する。
自動翻訳音読アプリを読み込んだCPUは、撮像部の光軸方向を屈折させる、装置本体とは別体の鏡MLを介して、本を撮影させて得られた撮像画像をクラウドCDに送信し、クラウドCDにより、撮像画像に基づいて生成された文字列に対応するテキストデータを受信し、装置本体の表示部に表示する制御手段として機能する。
即ち、自動翻訳音読アプリは、文章が記載されたが本を撮像するカメラと、カメラにより撮像される撮像画像やテキストデータなどを表示できる表示部とを備える情報処理装置SPで利用される。なお、文章は、縦書きであってもよい。
自動翻訳音読アプリは、装置本体に搭載される撮像部により、撮像部の光軸方向を屈折させる、装置本体とは別体の鏡MLを介して、文字列が配置された記録媒体を撮影させるステップと、その撮像画像をクラウドCDに送信させるステップと、撮像画像に基づいて文字列に対応するテキストデータを生成させるステップと、テキストデータを情報処置装置の表示部に表示するステップとを実行させるコンピュータプログラムである。
具体的に説明すると、自動翻訳音読アプリは、情報処置装置の本体に取り付けられた鏡MLを介して屈折させた光軸の方向から文章が記載された本を撮像部のカメラに撮影させ、撮像された写真をクラウドCDに送信し、クラウドCDにより、撮像画像に基づいて生成された文章に対応するテキストデータを受信し、受信したテキストデータと撮像部のカメラによりほぼリアルタイムで撮像される撮像画像とを共に提示するUI画面を表示部に表示する機能を有する。文章は縦書きであっても横書きであってもよい。
さらに、この自動翻訳音読アプリは、撮像画像を、クラウドCD上で、テキストデータを生成するために適した画像に補正する画像補正機能を有する。自動翻訳音読アプリは、テキストデータの翻訳及び音読のうち少なくとも一方を行う処理機能を有する。
また、自動翻訳音読アプリは、テキストデータが文章として未完成の場合、撮像画像の他の部位又は次の撮像画像から得られたテキストデータと結合して1つの文章を完成させる結合機能を有する。
具体的に説明すると、自動翻訳音読アプリは、情報処置装置の本体に取り付けられた鏡MLを介して屈折させた光軸の方向から文章が記載された本を撮像部のカメラに撮影させ、撮像された写真をクラウドCDに送信し、クラウドCDにより、撮像画像に基づいて生成された文章に対応するテキストデータを受信し、受信したテキストデータと撮像部のカメラによりほぼリアルタイムで撮像される撮像画像とを共に提示するUI画面を表示部に表示する機能を有する。文章は縦書きであっても横書きであってもよい。
さらに、この自動翻訳音読アプリは、撮像画像を、クラウドCD上で、テキストデータを生成するために適した画像に補正する画像補正機能を有する。自動翻訳音読アプリは、テキストデータの翻訳及び音読のうち少なくとも一方を行う処理機能を有する。
また、自動翻訳音読アプリは、テキストデータが文章として未完成の場合、撮像画像の他の部位又は次の撮像画像から得られたテキストデータと結合して1つの文章を完成させる結合機能を有する。
なお、上記実施形態では、自動翻訳音読アプリを、図13に示した情報処理装置SPにインストールして翻訳及び音読等の機能を実現したが、この他、自動翻訳音読アプリを情報処理装置1にインストールして翻訳及び音読等の機能を実現しても良い。
この場合、情報処理装置1は、図20乃至図22に示した、文章が記載された本を撮像する回転カメラ21と、回転カメラ21により撮像される撮像画像やテキストデータ等を表示できる表示部13とを備える。情報処理装置1の回転カメラ21は、光軸が情報処理装置1の本体部11の背面側からテキストデータが提示される正面側に向くように回転機構により回動可能に支持されている。
このような情報処理装置1にインストールされる自動翻訳音読アプリは、文章が記載された本を撮影した写真をクラウドに送信することで、クラウドにより、撮像画像に基づいて生成された文字列に対応するテキストデータを受信し、受信したテキストデータと回転カメラによりほぼリアルタイムに撮像されている撮像画像とを共に提示する提示機能を有する。
また、この自動翻訳音読アプリの提示機能は、前記文字列が配置された媒体の前記テキストデータまたは前記媒体に記載のバーコード情報から、過去の前記テキストデータまたは前記バーコード情報と所定の関連付けられたリファレンスデータを参照し、前記リファレンスデータを提示する。
自動翻訳音読アプリは、クラウドに送信された撮像画像に対して、左右反転、上下反転、回転、文字列が配置された媒体部の湾曲補正、文字列が配置された媒体部の台形補正、コントラストの調整、文字列が配置された媒体部だけの切り抜き、写り込んでしまった指の画像の削除のうちの少なくとも一つの画像補正を行う補正機能を有する。
この場合、情報処理装置1は、図20乃至図22に示した、文章が記載された本を撮像する回転カメラ21と、回転カメラ21により撮像される撮像画像やテキストデータ等を表示できる表示部13とを備える。情報処理装置1の回転カメラ21は、光軸が情報処理装置1の本体部11の背面側からテキストデータが提示される正面側に向くように回転機構により回動可能に支持されている。
このような情報処理装置1にインストールされる自動翻訳音読アプリは、文章が記載された本を撮影した写真をクラウドに送信することで、クラウドにより、撮像画像に基づいて生成された文字列に対応するテキストデータを受信し、受信したテキストデータと回転カメラによりほぼリアルタイムに撮像されている撮像画像とを共に提示する提示機能を有する。
また、この自動翻訳音読アプリの提示機能は、前記文字列が配置された媒体の前記テキストデータまたは前記媒体に記載のバーコード情報から、過去の前記テキストデータまたは前記バーコード情報と所定の関連付けられたリファレンスデータを参照し、前記リファレンスデータを提示する。
自動翻訳音読アプリは、クラウドに送信された撮像画像に対して、左右反転、上下反転、回転、文字列が配置された媒体部の湾曲補正、文字列が配置された媒体部の台形補正、コントラストの調整、文字列が配置された媒体部だけの切り抜き、写り込んでしまった指の画像の削除のうちの少なくとも一つの画像補正を行う補正機能を有する。
ここで、図23を参照して自動翻訳音読アプリのUIについて説明する。
自動翻訳音読アプリは、ユーザが情報処理装置SPの画面に表示されているアイコンをクリック操作することで起動し、表示部の画面に、図23に示すユーザインターフェース31(以下「UI31」と称す)を表示する。
自動翻訳音読アプリは、ユーザが情報処理装置SPの画面に表示されているアイコンをクリック操作することで起動し、表示部の画面に、図23に示すユーザインターフェース31(以下「UI31」と称す)を表示する。
図23に示すように、UI31には、表示エリア32、表示エリア33、言語指定部34、撮像画像表示エリア35、修正ボタン36、37、スクロールバーS1、S2等が配設されている。
表示エリア32は、撮像画像の文字認識処理(OCR)により得られた翻訳元のテキストが行方向(横方向)に画面端で折り返して表示されるエリアである。表示エリア33は、翻訳元のテキストを翻訳先の言語に翻訳(変換)したテキストが行方向(横方向)に画面端で折り返して表示されるエリアである。
言語指定部34は、翻訳元の言語と翻訳先の言語を指定する部位であり、翻訳元言語を指定するためのプルダウンメニューと翻訳先言語を指定するためのプルダウンメニューが設けられている。
撮像画像表示エリア35は、フロントカメラにより撮像される撮像画像がリアルタイムに表示されるエリアであり、撮像画像が縮小表示される。
修正ボタン36は、クリック操作されることにより、自動翻訳音読アプリのテキスト編集機能が起動し、表示エリア32のテキストの修正が可能になる。修正ボタン37は、クリック操作されることにより、自動翻訳音読アプリのテキスト編集機能が起動し、表示エリア33のテキストの修正が可能になる。
スクロールバーS1は、表示エリア32を超える行のテキストをユーザの操作で画面の長手方向にスクロール表示するためのものである。スクロールバーS2は、表示エリア33を超える行のテキストをユーザの操作で画面の長手方向にスクロール表示するためのものである。
自動翻訳音読アプリでは、UI31から機能選択ボタンで翻訳か音読の何れかを選択することで夫々の機能が動作する。
クラウドCDは、例えば翻訳や音読の処理を行うサーバ等であり、情報処理装置SPの自動翻訳音読アプリからの画像を含む画像処理の要求を受けて翻訳処理及び音読処理を行い、要求に対する応答として翻訳結果及び音読結果のテキストデータ及び音読データを情報処理装置SPの自動翻訳音読アプリに返信する。
表示エリア32は、撮像画像の文字認識処理(OCR)により得られた翻訳元のテキストが行方向(横方向)に画面端で折り返して表示されるエリアである。表示エリア33は、翻訳元のテキストを翻訳先の言語に翻訳(変換)したテキストが行方向(横方向)に画面端で折り返して表示されるエリアである。
言語指定部34は、翻訳元の言語と翻訳先の言語を指定する部位であり、翻訳元言語を指定するためのプルダウンメニューと翻訳先言語を指定するためのプルダウンメニューが設けられている。
撮像画像表示エリア35は、フロントカメラにより撮像される撮像画像がリアルタイムに表示されるエリアであり、撮像画像が縮小表示される。
修正ボタン36は、クリック操作されることにより、自動翻訳音読アプリのテキスト編集機能が起動し、表示エリア32のテキストの修正が可能になる。修正ボタン37は、クリック操作されることにより、自動翻訳音読アプリのテキスト編集機能が起動し、表示エリア33のテキストの修正が可能になる。
スクロールバーS1は、表示エリア32を超える行のテキストをユーザの操作で画面の長手方向にスクロール表示するためのものである。スクロールバーS2は、表示エリア33を超える行のテキストをユーザの操作で画面の長手方向にスクロール表示するためのものである。
自動翻訳音読アプリでは、UI31から機能選択ボタンで翻訳か音読の何れかを選択することで夫々の機能が動作する。
クラウドCDは、例えば翻訳や音読の処理を行うサーバ等であり、情報処理装置SPの自動翻訳音読アプリからの画像を含む画像処理の要求を受けて翻訳処理及び音読処理を行い、要求に対する応答として翻訳結果及び音読結果のテキストデータ及び音読データを情報処理装置SPの自動翻訳音読アプリに返信する。
ここで、図24及び図25のフローチャートを参照して、翻訳及び音読の動作例を説明する。図24及び図25は、情報処理装置SPとクラウドCDを含むシステムにおける翻訳及び音読のプロセスを示すフローチャート例である。
図24のステップS101において、鏡MLをフロントカメラに対応させて装置本体に取り付ける。
ユーザは、読み取り対象のページを開いた本を読み取り台(図13(C)参照)にセットし、ステップS102において、情報処理装置SPのアイコンをクリックし、自動翻訳音読アプリを起動し、これにより表示部にUI31が表示される。
ステップS103において、ユーザがUI31の言語指定部34のプルダウンメニューから翻訳元と翻訳先の言語を選択し指定すると、自動翻訳音読アプリは、フロントカメラを起動し、ステップS104において、フロントカメラにより読み取り対象の本のタイトルを含むページの画像が撮像される。なお、翻訳元の言語ならびに翻訳先の言語は、予め所定の言語(例えば「日本語」や「英語」等)が規定値として設定されていてもよく、翻訳元の言語は、後述するS107で自動で判定しても良い。フロントカメラにより撮像されたページを含む画像は、UI31の上部の撮像画像表示エリア35に画角(縦横比)を保持したまま縮小表示される。撮像画像表示エリア35では、本のページがフロントカメラの撮像エリア35からずれているかどうかを確認することができる。
図24のステップS101において、鏡MLをフロントカメラに対応させて装置本体に取り付ける。
ユーザは、読み取り対象のページを開いた本を読み取り台(図13(C)参照)にセットし、ステップS102において、情報処理装置SPのアイコンをクリックし、自動翻訳音読アプリを起動し、これにより表示部にUI31が表示される。
ステップS103において、ユーザがUI31の言語指定部34のプルダウンメニューから翻訳元と翻訳先の言語を選択し指定すると、自動翻訳音読アプリは、フロントカメラを起動し、ステップS104において、フロントカメラにより読み取り対象の本のタイトルを含むページの画像が撮像される。なお、翻訳元の言語ならびに翻訳先の言語は、予め所定の言語(例えば「日本語」や「英語」等)が規定値として設定されていてもよく、翻訳元の言語は、後述するS107で自動で判定しても良い。フロントカメラにより撮像されたページを含む画像は、UI31の上部の撮像画像表示エリア35に画角(縦横比)を保持したまま縮小表示される。撮像画像表示エリア35では、本のページがフロントカメラの撮像エリア35からずれているかどうかを確認することができる。
ユーザは、撮像画像表示エリア35の撮像画像を確認することで、撮像画像表示エリア35内に本の読み取り対象ページ全体が入るように本の位置又は情報処理装置SP全体の位置を調整し撮像範囲を調整する。撮像範囲が調整されると、自動翻訳音読アプリは、調整された撮像範囲で撮像した撮像画像をクラウドCDへ送信する。
ステップS105において、クラウドCDでは、サーバが、情報処理装置SPの自動翻訳音読アプリから受信した撮像画像に対して、左右反転、上下反転、回転、文字列が配置された媒体部の湾曲補正、文字列が配置された媒体部の台形補正、コントラストの調整、文字列が配置された媒体部だけの切り抜き、写り込んでしまった指の画像の削除等の画像の補正を行い、本1ページ分の幅や文字列の位置を検出する。
ステップS106において、サーバは、向き等を補正した撮像画像から文字認識することで、テキストデータ(以下「テキスト」と称す)を抽出する。文字認識をOCRと呼ぶ。
ステップS107において、サーバは、抽出したテキストから本に記載されている文字の言語を判定する。
ステップS108では、サーバは、必要に応じて、判定した文字の言語に基づいてテキストを補正する。「必要に応じて」とは、例えば誤読しやすい文字や未認識文字が多く文字認識率が一定値より低い場合等である。加えて、本や章のタイトルやページ数をテキストに含めない、漢字にルビ(よみ)が振られている場合は、重複して取り込まない、といった補正が加えられる。
ステップS109では、サーバは、AI翻訳機能によりテキストを、指定言語に翻訳する。
ステップS110では、サーバは、音読データ作成機能により、翻訳したテキストから音読データを生成し、処理結果のデータを情報処理装置SPへ送信する。処理結果のデータは、生成した音読データ、翻訳前のテキスト及び翻訳後のテキスト等である。音読データは、テキストに、音読用のテキストの文言の単位に属性データ(句読点やアクセントデータやルビ等)を付与したものである。
ステップS105において、クラウドCDでは、サーバが、情報処理装置SPの自動翻訳音読アプリから受信した撮像画像に対して、左右反転、上下反転、回転、文字列が配置された媒体部の湾曲補正、文字列が配置された媒体部の台形補正、コントラストの調整、文字列が配置された媒体部だけの切り抜き、写り込んでしまった指の画像の削除等の画像の補正を行い、本1ページ分の幅や文字列の位置を検出する。
ステップS106において、サーバは、向き等を補正した撮像画像から文字認識することで、テキストデータ(以下「テキスト」と称す)を抽出する。文字認識をOCRと呼ぶ。
ステップS107において、サーバは、抽出したテキストから本に記載されている文字の言語を判定する。
ステップS108では、サーバは、必要に応じて、判定した文字の言語に基づいてテキストを補正する。「必要に応じて」とは、例えば誤読しやすい文字や未認識文字が多く文字認識率が一定値より低い場合等である。加えて、本や章のタイトルやページ数をテキストに含めない、漢字にルビ(よみ)が振られている場合は、重複して取り込まない、といった補正が加えられる。
ステップS109では、サーバは、AI翻訳機能によりテキストを、指定言語に翻訳する。
ステップS110では、サーバは、音読データ作成機能により、翻訳したテキストから音読データを生成し、処理結果のデータを情報処理装置SPへ送信する。処理結果のデータは、生成した音読データ、翻訳前のテキスト及び翻訳後のテキスト等である。音読データは、テキストに、音読用のテキストの文言の単位に属性データ(句読点やアクセントデータやルビ等)を付与したものである。
情報処理装置SPの自動翻訳音読アプリでは、サーバから処理結果のデータを受信すると、ステップS111において、自動翻訳音読アプリが、受信した処理結果のデータを表示部のUI31に表示すると共に音読を行う。
UI31には、表示エリア32に翻訳元の言語(元言語)のテキスト、表示エリア33に翻訳後の言語(翻訳言語)のテキストが夫々表示される。これと共に、自動翻訳音読アプリの音読機能により、受信された翻訳後のテキストの音読データが音読され、スピーカから音声が出力される。
ここで、ユーザが翻訳前又は翻訳後のテキストに間違いを発見し、訂正したい場合は、ステップS112において、ユーザが修正ボタン36又は修正ボタン37をクリック操作すると、編集機能が有効になり修正ボタン36又は修正ボタン37に対応する表示エリア(表示エリア32又は表示エリア33)のテキストが編集可能になるので、ステップS113において、表示エリアのテキストを手操作(手入力)で修正する。
UI31には、表示エリア32に翻訳元の言語(元言語)のテキスト、表示エリア33に翻訳後の言語(翻訳言語)のテキストが夫々表示される。これと共に、自動翻訳音読アプリの音読機能により、受信された翻訳後のテキストの音読データが音読され、スピーカから音声が出力される。
ここで、ユーザが翻訳前又は翻訳後のテキストに間違いを発見し、訂正したい場合は、ステップS112において、ユーザが修正ボタン36又は修正ボタン37をクリック操作すると、編集機能が有効になり修正ボタン36又は修正ボタン37に対応する表示エリア(表示エリア32又は表示エリア33)のテキストが編集可能になるので、ステップS113において、表示エリアのテキストを手操作(手入力)で修正する。
一方、翻訳前又は翻訳後のテキストに間違いがない場合は、ユーザがUI31の確定ボタン(図示せず)をクリック操作すると、クラウドCDに翻訳が確定した旨が通知される。確定ボタンを押さなくても、修正ボタンが押されない限り、修正はなく確定されていると考えることも可能である。
この通知を受けたクラウドCDのサーバは、ステップS114において、翻訳前のテキストから本のタイトル(題名)を抽出する。
そして、サーバは、ステップS115において、抽出した本のタイトル(題名)と本の記載言語に基づいて、出版本のデータベースや予めメモリに記憶している翻訳済みの電子書籍化されたリファレンスデータ等を参照して既存の本の内容(テキスト)とマッチングし、本の内容が合致した既存の本のタイトル(題名)を特定しそれを情報処理装置SPに通知する。マッチングの結果、既存の本のタイトル(題名)が合致しない場合は、その旨を情報処理装置SPの自動翻訳音読アプリに通知する。
この通知を受けたクラウドCDのサーバは、ステップS114において、翻訳前のテキストから本のタイトル(題名)を抽出する。
そして、サーバは、ステップS115において、抽出した本のタイトル(題名)と本の記載言語に基づいて、出版本のデータベースや予めメモリに記憶している翻訳済みの電子書籍化されたリファレンスデータ等を参照して既存の本の内容(テキスト)とマッチングし、本の内容が合致した既存の本のタイトル(題名)を特定しそれを情報処理装置SPに通知する。マッチングの結果、既存の本のタイトル(題名)が合致しない場合は、その旨を情報処理装置SPの自動翻訳音読アプリに通知する。
情報処理装置SPの自動翻訳音読アプリでは、サーバからの既存の本のタイトルが合致した旨の通知があると、自動翻訳音読アプリは、既存の本のタイトルに基づいて本のテキストを含むデータを出版本のデータベースやメモリ、インターネットの本のサイト等から取得して、ステップS116において、直前に翻訳したページの終了位置が保持されていれば、その位置からテキストを表示及び音読する。
一方、サーバからの既存の本のタイトルが合致しなかった旨の通知を受信すると、自動翻訳音読アプリは、ステップS117において、直前に翻訳したページの次のページを撮像し、撮像した撮像画像をクラウドCDへ送信する。
一方、サーバからの既存の本のタイトルが合致しなかった旨の通知を受信すると、自動翻訳音読アプリは、ステップS117において、直前に翻訳したページの次のページを撮像し、撮像した撮像画像をクラウドCDへ送信する。
クラウドCDでは、サーバが、ステップS118乃至ステップS121において、ステップS105乃至ステップS108と同様の処理を行う。
そして、ステップS122において、サーバは、前ページで文章として完成していないページのテキスト(以下これを「未完成文章」と呼ぶ)の有無を確認し、未完成文章があれば、未完成文章のテキストと新たに読み取ったテキストとを連結して1文の文章を完成させる。日本語の場合の例では、テキストを構成する文字列のうち少なくとも句点「。」が設けられている部位まで連結する。
続いて、ステップS123において、サーバは、1文の文章と本の記載言語に基づいて、出版本のデータベースやリファレンスデータ等を参照して既存の本(出版本等)と本の内容をマッチングし、互いのデータが合致すれば、つまりマッチングできれば、その本のテキストを含むデータを取得する。
その後、ステップS124において、サーバは、ステップS109と同様に、AI翻訳機能によりテキストを、指定言語へ翻訳する。
ステップS125において、サーバは、音読データ作成機能により、翻訳したテキストから音読データを生成し、処理結果のデータを情報処理装置SPの自動翻訳音読アプリへ送信する。
そして、ステップS122において、サーバは、前ページで文章として完成していないページのテキスト(以下これを「未完成文章」と呼ぶ)の有無を確認し、未完成文章があれば、未完成文章のテキストと新たに読み取ったテキストとを連結して1文の文章を完成させる。日本語の場合の例では、テキストを構成する文字列のうち少なくとも句点「。」が設けられている部位まで連結する。
続いて、ステップS123において、サーバは、1文の文章と本の記載言語に基づいて、出版本のデータベースやリファレンスデータ等を参照して既存の本(出版本等)と本の内容をマッチングし、互いのデータが合致すれば、つまりマッチングできれば、その本のテキストを含むデータを取得する。
その後、ステップS124において、サーバは、ステップS109と同様に、AI翻訳機能によりテキストを、指定言語へ翻訳する。
ステップS125において、サーバは、音読データ作成機能により、翻訳したテキストから音読データを生成し、処理結果のデータを情報処理装置SPの自動翻訳音読アプリへ送信する。
情報処理装置SPの自動翻訳音読アプリでは、サーバから処理結果のデータを受信すると、ステップS126において、自動翻訳音読アプリが、受信した処理結果のデータを表示部のUI31に表示すると共に音読を行う。
UI31に表示された翻訳前後のテキストに間違いがあれば、ステップS127、S128において、ステップS112、S113と同様にテキストの修正を行う。
翻訳前後のテキストに間違いがなく、次の翻訳ページがあれば(ステップS129のYes)、ユーザは、本のページをめくって、めくったページを撮像させる。
次の翻訳ページの有無については、撮像画像の隣接ページの有無を検出してもよく、ユーザにより新たなページがめくられたか否かを検出してもよい。
また、撮像画像に2ページ分の本の画像が写っていた場合、自動翻訳音読アプリは、撮像画像の中から隣の次のページの画像を切り出して、サーバへ送信し、ステップS118へ進む。
UI31に表示された翻訳前後のテキストに間違いがあれば、ステップS127、S128において、ステップS112、S113と同様にテキストの修正を行う。
翻訳前後のテキストに間違いがなく、次の翻訳ページがあれば(ステップS129のYes)、ユーザは、本のページをめくって、めくったページを撮像させる。
次の翻訳ページの有無については、撮像画像の隣接ページの有無を検出してもよく、ユーザにより新たなページがめくられたか否かを検出してもよい。
また、撮像画像に2ページ分の本の画像が写っていた場合、自動翻訳音読アプリは、撮像画像の中から隣の次のページの画像を切り出して、サーバへ送信し、ステップS118へ進む。
ステップS129において、次の翻訳ページがなければ(ステップS129のNo)、翻訳終了の通知をクラウドCDへ送信する。
クラウドCDでは、サーバが、情報処理装置SPの自動翻訳音読アプリからの受信した翻訳終了の通知によって、テキストの翻訳終了位置を記憶し、ステップS130において、サーバ側の翻訳及び音読処理を終了する。
このように動作する情報処理装置SPの自動翻訳音読アプリによれば、鏡MLを取り付けた情報処理装置SPを台BSにセットし、ページを開いた本をフロントカメラで撮像すると、撮像されたページの撮像画像がUI31の撮像画像表示エリア35に表示されるので、撮像画像表示エリア35の撮像画像を確認しながら本の撮像範囲の位置合わせができ、正しい撮像範囲で本のページを撮像することができる。この結果、ページの見切れ等がなくなり、本から読み取ったテキストを情報処理装置SPに翻訳及び音読させる際のミスを少なくすることができる。
また、情報処理装置SPによれば、本のページの撮像画像を文字認識処理してテキストを抽出し、跨るページのテキストを連結して1文したテキストを情報処理装置SPの自動翻訳音読アプリに取り込み、UI31の表示エリア32に表示するので、紙媒体の本を電子化するのを短い作業時間で行うことができる。
さらに、情報処理装置SPの自動翻訳音読アプリによれば、本の見開きページ等から本のタイトルを抽出し、そのテキストに基づいて、既存の本を特定し、既存の本のデータを取得することも可能なので、全文をOCRして翻訳及び音読するのに比べて誤読や未読がなくなり、本の翻訳精度を向上することができると共に音読をスムーズに行うことができる。
クラウドCDでは、サーバが、情報処理装置SPの自動翻訳音読アプリからの受信した翻訳終了の通知によって、テキストの翻訳終了位置を記憶し、ステップS130において、サーバ側の翻訳及び音読処理を終了する。
このように動作する情報処理装置SPの自動翻訳音読アプリによれば、鏡MLを取り付けた情報処理装置SPを台BSにセットし、ページを開いた本をフロントカメラで撮像すると、撮像されたページの撮像画像がUI31の撮像画像表示エリア35に表示されるので、撮像画像表示エリア35の撮像画像を確認しながら本の撮像範囲の位置合わせができ、正しい撮像範囲で本のページを撮像することができる。この結果、ページの見切れ等がなくなり、本から読み取ったテキストを情報処理装置SPに翻訳及び音読させる際のミスを少なくすることができる。
また、情報処理装置SPによれば、本のページの撮像画像を文字認識処理してテキストを抽出し、跨るページのテキストを連結して1文したテキストを情報処理装置SPの自動翻訳音読アプリに取り込み、UI31の表示エリア32に表示するので、紙媒体の本を電子化するのを短い作業時間で行うことができる。
さらに、情報処理装置SPの自動翻訳音読アプリによれば、本の見開きページ等から本のタイトルを抽出し、そのテキストに基づいて、既存の本を特定し、既存の本のデータを取得することも可能なので、全文をOCRして翻訳及び音読するのに比べて誤読や未読がなくなり、本の翻訳精度を向上することができると共に音読をスムーズに行うことができる。
なお、上記動作例では、UI31の上部に撮像画像表示エリア35を設けたが、撮像画像表示エリア35はこの例に限定されるものではなく、UI31のどこかに翻訳前や翻訳後のテキストよりも小さく表示していればよい。
また、テキストを抽出したときに、文章が途中で切れているときには、その文章が途切れているテキストは、そのページで翻訳や音読をせずに、次のページをスキャンして、1つの文章になってから、翻訳や音読をしてもよい。
さらに、画像を読み取った本がかつて誰かが一度スキャンしており、既に本のテキストデータや電子ブック等のデータがメモリ等に記憶されていた場合は、そのメモリの情報から翻訳及び音読を行うようにしてもよい。
この翻訳及び音読機能では、書物の1ページ1ページをいちいちシャッターを押すことなく静止画として撮影し、ページがめくられたことや撮像画像が大きく変わったこと、例えば、カメラが撮影しているページをユーザが意図的に左のページから右のページにずらしたりしたときに、これを検出してページを再度読み込み、前述した一連の翻訳のプロセスを繰り返し、翻訳を行う。
ページの再読込は、音声で行っても良く、また音で行っても良い。さらに、ページの再読込は、画面上のボタンやリモコンで行っても良い。
これ以外にも、一部を翻訳して途中から翻訳プロセスをスキップして、翻訳済みの電子書籍化されたリファレンスデータを使っても良い。一度翻訳を行い、翻訳を停止した際には、ページとページ内の位置を覚えておき、次回、再開するときには、翻訳を停止したページを表示や音読でユーザに通知しても良い。
また、テキストを抽出したときに、文章が途中で切れているときには、その文章が途切れているテキストは、そのページで翻訳や音読をせずに、次のページをスキャンして、1つの文章になってから、翻訳や音読をしてもよい。
さらに、画像を読み取った本がかつて誰かが一度スキャンしており、既に本のテキストデータや電子ブック等のデータがメモリ等に記憶されていた場合は、そのメモリの情報から翻訳及び音読を行うようにしてもよい。
この翻訳及び音読機能では、書物の1ページ1ページをいちいちシャッターを押すことなく静止画として撮影し、ページがめくられたことや撮像画像が大きく変わったこと、例えば、カメラが撮影しているページをユーザが意図的に左のページから右のページにずらしたりしたときに、これを検出してページを再度読み込み、前述した一連の翻訳のプロセスを繰り返し、翻訳を行う。
ページの再読込は、音声で行っても良く、また音で行っても良い。さらに、ページの再読込は、画面上のボタンやリモコンで行っても良い。
これ以外にも、一部を翻訳して途中から翻訳プロセスをスキップして、翻訳済みの電子書籍化されたリファレンスデータを使っても良い。一度翻訳を行い、翻訳を停止した際には、ページとページ内の位置を覚えておき、次回、再開するときには、翻訳を停止したページを表示や音読でユーザに通知しても良い。
(音読機能)
次に、図26を参照して、音読機能のUIを説明する。図26は、音読機能のUIを示す図である。なお、図26において、図23と同じ構成には同一の符号を付しその説明省略する。
図26示すように、音読機能のUI31は、表示エリア32が広く設けられており、図23で示した翻訳済みテキストの表示エリア33が設けられていない。言語指定部34は、テキスト化言語を指定するためのプルダウンメニューが一つだけ設けられている。
次に、図26を参照して、音読機能のUIを説明する。図26は、音読機能のUIを示す図である。なお、図26において、図23と同じ構成には同一の符号を付しその説明省略する。
図26示すように、音読機能のUI31は、表示エリア32が広く設けられており、図23で示した翻訳済みテキストの表示エリア33が設けられていない。言語指定部34は、テキスト化言語を指定するためのプルダウンメニューが一つだけ設けられている。
次に、図27及び図28のフローチャートを参照して、音読機能の動作例を説明する。図27及び図28は、情報処理装置SPとクラウドCDを含むシステムにおける音読のプロセスを示すフローチャートである。
図27のステップS201において、鏡MLをフロントカメラに対応させて装置本体に取り付ける。
ユーザは、読み取り対象のページを開いた本を読み取り用の台BS(図13(C)参照)にセットし、ステップS202において、情報処理装置SPのアイコンをクリックし、自動音読アプリを起動し、これにより表示部にUI31が表示される。
ステップS203において、ユーザがUI31の言語指定部34のプルダウンメニューから音読言語を指定すると、自動音読アプリは、フロントカメラを起動し、ステップS204において、フロントカメラにより読み取り対象の本のタイトルを含むページの画像が撮像される。なお、音読言語は、予め所定の言語(例えば「日本語」や「英語」等)が規定値として設定されていてもよく、この場合はデフォルト設定のまま音読言語を指定する必要はない。音読言語は、後述するS207で自動で判定しても良い。
フロントカメラにより撮像されたページを含む画像は、UI31の上部の撮像画像表示エリア35に画角(縦横比)を保持したまま縮小表示される。撮像画像表示エリア35では、本のページがフロントカメラの撮像エリア35からずれているかどうかを確認することができる。
ユーザは、撮像画像表示エリア35の撮像画像を確認することで、撮像画像表示エリア35内に本の読み取り対象ページ全体が入るように本の位置又は情報処理装置SP全体の位置を調整し撮像範囲を調整する。撮像範囲が調整されると、自動音読アプリは、調整された撮像範囲で撮像した撮像画像をクラウドCDへ送信する。
図27のステップS201において、鏡MLをフロントカメラに対応させて装置本体に取り付ける。
ユーザは、読み取り対象のページを開いた本を読み取り用の台BS(図13(C)参照)にセットし、ステップS202において、情報処理装置SPのアイコンをクリックし、自動音読アプリを起動し、これにより表示部にUI31が表示される。
ステップS203において、ユーザがUI31の言語指定部34のプルダウンメニューから音読言語を指定すると、自動音読アプリは、フロントカメラを起動し、ステップS204において、フロントカメラにより読み取り対象の本のタイトルを含むページの画像が撮像される。なお、音読言語は、予め所定の言語(例えば「日本語」や「英語」等)が規定値として設定されていてもよく、この場合はデフォルト設定のまま音読言語を指定する必要はない。音読言語は、後述するS207で自動で判定しても良い。
フロントカメラにより撮像されたページを含む画像は、UI31の上部の撮像画像表示エリア35に画角(縦横比)を保持したまま縮小表示される。撮像画像表示エリア35では、本のページがフロントカメラの撮像エリア35からずれているかどうかを確認することができる。
ユーザは、撮像画像表示エリア35の撮像画像を確認することで、撮像画像表示エリア35内に本の読み取り対象ページ全体が入るように本の位置又は情報処理装置SP全体の位置を調整し撮像範囲を調整する。撮像範囲が調整されると、自動音読アプリは、調整された撮像範囲で撮像した撮像画像をクラウドCDへ送信する。
ステップS205において、クラウドCDでは、サーバが、情報処理装置SPの自動音読アプリから受信した撮像画像に対して、左右反転、上下反転、回転、文字列が配置された媒体部の湾曲補正、文字列が配置された媒体部の台形補正、コントラストの調整、文字列が配置された媒体部だけの切り抜き、写り込んでしまった指の画像の削除等の画像の補正を行い、本1ページ分の幅や文字列の位置を検出する。
ステップS206において、サーバは、向き等を補正した撮像画像から文字を認識することで、テキストを抽出する。画像から文字を認識する処理をOCRと呼ぶ。
ステップS207において、サーバは、抽出したテキストから本に記載されている文字の言語(記載言語)を判定する。
ステップS208では、サーバは、必要に応じて、判定した文字の言語に基づいてテキストを補正する。「必要に応じて」とは、例えば誤読文字や未認識文字が多く文字認識率が一定値より低い場合等である。加えて、本や章のタイトルやページ数をテキストに含めない、漢字にルビ(よみ)が振られている場合は、重複して取り込まない、といった補正が加えられる。
ステップS209では、サーバは、音読データ作成機能により、抽出したテキストから音読データを生成し、処理結果のデータを情報処理装置SPへ送信する。処理結果のデータは、生成した音読データ、テキスト等である。音読データは、テキストに、音読用のテキストの文言の単位に属性データ(句読点やアクセントデータやルビ等)を付与したものである。
ステップS206において、サーバは、向き等を補正した撮像画像から文字を認識することで、テキストを抽出する。画像から文字を認識する処理をOCRと呼ぶ。
ステップS207において、サーバは、抽出したテキストから本に記載されている文字の言語(記載言語)を判定する。
ステップS208では、サーバは、必要に応じて、判定した文字の言語に基づいてテキストを補正する。「必要に応じて」とは、例えば誤読文字や未認識文字が多く文字認識率が一定値より低い場合等である。加えて、本や章のタイトルやページ数をテキストに含めない、漢字にルビ(よみ)が振られている場合は、重複して取り込まない、といった補正が加えられる。
ステップS209では、サーバは、音読データ作成機能により、抽出したテキストから音読データを生成し、処理結果のデータを情報処理装置SPへ送信する。処理結果のデータは、生成した音読データ、テキスト等である。音読データは、テキストに、音読用のテキストの文言の単位に属性データ(句読点やアクセントデータやルビ等)を付与したものである。
情報処理装置SPの自動音読アプリでは、サーバから処理結果のデータを受信すると、ステップS210において、自動音読アプリが、受信した処理結果のデータを表示部のUI31に表示すると共に音読を行う。
UI31には、表示エリア32に音読言語のテキストが表示される。これと共に、自動音読アプリの音読機能により、受信された翻訳後のテキストの音読データが音読され、情報処理装置SPのスピーカから音声が出力される。
ここで、ユーザが音読内容やテキストに間違いを発見し、訂正したい場合は、ステップS211において、ユーザが修正ボタン36をクリック操作すると、編集機能が有効になり表示エリア32のテキストが編集可能になるので、ステップS212において、表示エリア32のテキストを手操作(手入力)で修正する。修正後、テキストは、サーバへ送られて、ステップ209において、音読データが生成される。
一方、音読内容やテキストに間違いがない場合は、ユーザがUI31の確定ボタン(図示せず)をクリック操作すると、クラウドCDに音読内容が確定した旨が通知される。確定ボタンを押さなくても、修正ボタンが押されない限り、修正はなく確定されていると考えることも可能である。
UI31には、表示エリア32に音読言語のテキストが表示される。これと共に、自動音読アプリの音読機能により、受信された翻訳後のテキストの音読データが音読され、情報処理装置SPのスピーカから音声が出力される。
ここで、ユーザが音読内容やテキストに間違いを発見し、訂正したい場合は、ステップS211において、ユーザが修正ボタン36をクリック操作すると、編集機能が有効になり表示エリア32のテキストが編集可能になるので、ステップS212において、表示エリア32のテキストを手操作(手入力)で修正する。修正後、テキストは、サーバへ送られて、ステップ209において、音読データが生成される。
一方、音読内容やテキストに間違いがない場合は、ユーザがUI31の確定ボタン(図示せず)をクリック操作すると、クラウドCDに音読内容が確定した旨が通知される。確定ボタンを押さなくても、修正ボタンが押されない限り、修正はなく確定されていると考えることも可能である。
情報処理装置SPの自動音読アプリから通知を受けたクラウドCDのサーバは、ステップS213において、文字認識したテキストから本のタイトル(題名)を抽出する。
そして、サーバは、ステップS214において、抽出した本のタイトル(題名)と本の記載言語に基づいて、出版本のデータベースや予めメモリに記憶しているリファレンスデータ等を参照して既存の本の内容(テキスト)とマッチングし、本の内容が合致した既存の本のタイトル(題名)を特定しそれを情報処理装置SPの自動音読アプリに通知する。マッチングの結果、既存の本のタイトル(題名)が合致しない場合は、その旨を情報処理装置SPの自動音読アプリに通知する。
そして、サーバは、ステップS214において、抽出した本のタイトル(題名)と本の記載言語に基づいて、出版本のデータベースや予めメモリに記憶しているリファレンスデータ等を参照して既存の本の内容(テキスト)とマッチングし、本の内容が合致した既存の本のタイトル(題名)を特定しそれを情報処理装置SPの自動音読アプリに通知する。マッチングの結果、既存の本のタイトル(題名)が合致しない場合は、その旨を情報処理装置SPの自動音読アプリに通知する。
情報処理装置SPの自動音読アプリでは、サーバからの既存の本のタイトルが合致した旨の通知があると、自動音読アプリは、既存の本のタイトルに基づいて本のデータを出版本のデータベースやメモリ、インターネットの本のサイト等から取得して、ステップS215において、直前に音読したページの終了位置が保持されていれば、その位置からテキストを表示及び音読する。
また、サーバからの既存の本のタイトルが合致しなかった旨の通知を受信すると、自動音読アプリは、ステップS216において、直前に音読したページの次のページを撮像し、撮像した撮像画像をクラウドCDへ送信する。
また、サーバからの既存の本のタイトルが合致しなかった旨の通知を受信すると、自動音読アプリは、ステップS216において、直前に音読したページの次のページを撮像し、撮像した撮像画像をクラウドCDへ送信する。
クラウドCDでは、サーバが、ステップS217乃至ステップS220において、ステップS205乃至ステップS208と同様の処理を行う。
そして、ステップS221において、サーバは、前ページで文章として完成していないページのテキスト(以下これを「未完成文章」と呼ぶ)の有無を確認し、未完成文章があれば、未完成文章のテキストと新たに読み取ったテキストとを連結して1文の文章を完成させる。日本語の場合の例では、テキストを構成する文字列のうち少なくとも句点「。」が設けられている部位まで連結する。
そして、ステップS221において、サーバは、前ページで文章として完成していないページのテキスト(以下これを「未完成文章」と呼ぶ)の有無を確認し、未完成文章があれば、未完成文章のテキストと新たに読み取ったテキストとを連結して1文の文章を完成させる。日本語の場合の例では、テキストを構成する文字列のうち少なくとも句点「。」が設けられている部位まで連結する。
続いて、ステップS222において、サーバは、1文の文章と本の記載言語に基づいて、出版本のデータベースやリファレンスデータ等を参照して既存の本(出版本等)との本の内容をマッチングし、互いのデータが合致すれば、つまりマッチングできれば、その本のテキストを含むデータを取得する。
その後、ステップS223において、サーバは、ステップS209と同様に、音読データ作成機能により、文字認識したテキストから音読データを生成し、処理結果のデータを情報処理装置SPの自動音読アプリへ送信する。
その後、ステップS223において、サーバは、ステップS209と同様に、音読データ作成機能により、文字認識したテキストから音読データを生成し、処理結果のデータを情報処理装置SPの自動音読アプリへ送信する。
情報処理装置SPの自動音読アプリでは、サーバから処理結果のデータを受信すると、ステップS224において、自動音読アプリが、受信した処理結果のデータを表示部のUI31に表示すると共に音読を行う。
UI31に表示されたテキストに間違いがあれば、ステップS225、S226において、ステップS211、S212と同様にテキストの修正を行う。
音読したテキストに間違いがなく、次の翻訳ページがあれば(ステップS227のYes)、ステップS228において、ユーザは、本のページをめくって、めくったページを情報処理装置SPの自動音読アプリに撮像させる。次の音読ページの有無については、撮像画像の隣接ページの有無を検出してもよく、ユーザにより新たなページがめくられたか否かを検出してもよい。
また、撮像画像に2ページ分の本の画像が写っていた場合、自動音読アプリは、撮像画像の中から隣の次のページの画像を切り出して、サーバへ送信し、ステップS217へ進む。
一方、ステップS227において、次の音読ページがなければ(ステップS227のNo)、音読終了の通知がクラウドCDに送信される。
UI31に表示されたテキストに間違いがあれば、ステップS225、S226において、ステップS211、S212と同様にテキストの修正を行う。
音読したテキストに間違いがなく、次の翻訳ページがあれば(ステップS227のYes)、ステップS228において、ユーザは、本のページをめくって、めくったページを情報処理装置SPの自動音読アプリに撮像させる。次の音読ページの有無については、撮像画像の隣接ページの有無を検出してもよく、ユーザにより新たなページがめくられたか否かを検出してもよい。
また、撮像画像に2ページ分の本の画像が写っていた場合、自動音読アプリは、撮像画像の中から隣の次のページの画像を切り出して、サーバへ送信し、ステップS217へ進む。
一方、ステップS227において、次の音読ページがなければ(ステップS227のNo)、音読終了の通知がクラウドCDに送信される。
クラウドCDでは、サーバが、情報処理装置SPの自動音読アプリから受信された音読終了の通知によって、ステップS229において、音読データ及びテキストの音読終了位置を記憶し、ステップS230において、サーバ側の音読処理を終了する。
このように動作する情報処理装置SPの自動音読アプリによれば、鏡MLを取り付けた情報処理装置SPを台BSにセットし、ページを開いた本をフロントカメラで撮像すると、撮像されたページの撮像画像がUI31の撮像画像表示エリア35に表示されるので、撮像画像表示エリア35の撮像画像を確認しながら本の撮像範囲の位置合わせができ、正しい撮像範囲で本のページを撮像することができる。この結果、ページの見切れ等がなくなり、本から読み取ったテキストを情報処理装置SPの自動音読アプリに音読させる際の音読ミスを少なくすることができる。
また、情報処理装置SPの自動音読アプリによれば、本のページの撮像画像を文字認識処理してテキストを抽出し、跨るページのテキストを連結して1文したテキストを情報処理装置SPに取り込み、UI31の表示エリア32に表示するので、紙媒体の本を電子化するのを短い作業時間で行うことができる。
さらに、情報処理装置SPの自動音読アプリによれば、抽出したテキストに基づいて、既存の本を特定し、既存の本のデータを取得するので、全文をOCRして音読するのに比べて誤読や未読がなくなり、本の音読をスムーズに行うことができる。
また、情報処理装置SPの自動音読アプリによれば、本のページの撮像画像を文字認識処理してテキストを抽出し、跨るページのテキストを連結して1文したテキストを情報処理装置SPに取り込み、UI31の表示エリア32に表示するので、紙媒体の本を電子化するのを短い作業時間で行うことができる。
さらに、情報処理装置SPの自動音読アプリによれば、抽出したテキストに基づいて、既存の本を特定し、既存の本のデータを取得するので、全文をOCRして音読するのに比べて誤読や未読がなくなり、本の音読をスムーズに行うことができる。
(テキスト化機能)
次に、テキスト化機能について説明する。なお、テキスト化機能のUIは、図26のUI31と基本的に同じでありその説明は省略する。
ここで、図29及び図30のフローチャートを参照して、テキスト化機能の動作例を説明する。図29及び図30は、情報処理装置SPとクラウドCDを含むシステムにおけるテキスト化のプロセスを示すフローチャートである。
図29のステップS301において、鏡MLをフロントカメラに対応させて装置本体に取り付ける。
ユーザは、読み取り対象のページを開いた本を読み取り台(図13(C)参照)にセットし、ステップS302において、情報処理装置SPのテキスト化機能のアイコンをクリックし、自動テキスト化アプリを起動し、これにより表示部にUI31が表示される。
ステップS303において、ユーザがUI31の言語指定部34のプルダウンメニューからテキスト化言語を指定すると、自動テキスト化アプリは、フロントカメラを起動し、ステップS304において、フロントカメラにより読み取り対象の本のタイトルを含むページの画像が撮像される。なお、テキスト化言語は、予め所定の言語(例えば「日本語」や「英語」等)が規定値として設定されていてもよく、この場合はデフォルト設定のままテキスト化言語を指定する必要はない。テキスト化言語は、後述するステップS307の処理により自動的に判定しても良い。
フロントカメラにより撮像されたページを含む画像は、UI31の上部の撮像画像表示エリア35に画角(縦横比)を保持したまま縮小表示される。撮像画像表示エリア35では、本のページがフロントカメラの撮像エリア35からずれているかどうかを確認することができる。
ユーザは、撮像画像表示エリア35の撮像画像を確認することで、撮像画像表示エリア35内に本の読み取り対象ページ全体が入るように本の位置又は情報処理装置SP全体の位置を調整し撮像範囲を調整する。撮像範囲が調整されると、自動テキスト化アプリは、調整された撮像範囲で撮像した撮像画像をクラウドCDへ送信する。
次に、テキスト化機能について説明する。なお、テキスト化機能のUIは、図26のUI31と基本的に同じでありその説明は省略する。
ここで、図29及び図30のフローチャートを参照して、テキスト化機能の動作例を説明する。図29及び図30は、情報処理装置SPとクラウドCDを含むシステムにおけるテキスト化のプロセスを示すフローチャートである。
図29のステップS301において、鏡MLをフロントカメラに対応させて装置本体に取り付ける。
ユーザは、読み取り対象のページを開いた本を読み取り台(図13(C)参照)にセットし、ステップS302において、情報処理装置SPのテキスト化機能のアイコンをクリックし、自動テキスト化アプリを起動し、これにより表示部にUI31が表示される。
ステップS303において、ユーザがUI31の言語指定部34のプルダウンメニューからテキスト化言語を指定すると、自動テキスト化アプリは、フロントカメラを起動し、ステップS304において、フロントカメラにより読み取り対象の本のタイトルを含むページの画像が撮像される。なお、テキスト化言語は、予め所定の言語(例えば「日本語」や「英語」等)が規定値として設定されていてもよく、この場合はデフォルト設定のままテキスト化言語を指定する必要はない。テキスト化言語は、後述するステップS307の処理により自動的に判定しても良い。
フロントカメラにより撮像されたページを含む画像は、UI31の上部の撮像画像表示エリア35に画角(縦横比)を保持したまま縮小表示される。撮像画像表示エリア35では、本のページがフロントカメラの撮像エリア35からずれているかどうかを確認することができる。
ユーザは、撮像画像表示エリア35の撮像画像を確認することで、撮像画像表示エリア35内に本の読み取り対象ページ全体が入るように本の位置又は情報処理装置SP全体の位置を調整し撮像範囲を調整する。撮像範囲が調整されると、自動テキスト化アプリは、調整された撮像範囲で撮像した撮像画像をクラウドCDへ送信する。
ステップS305において、クラウドCDでは、サーバが、情報処理装置SPの自動テキスト化アプリから受信した撮像画像から書類の回転、湾曲補正、台形補正、コントラストの調整、本部分だけの切り抜き、写り込んでしまった指の画像の削除等の画像の補正を行い、本1ページ分の幅や文字列の位置を検出する。
ステップS306において、サーバは、向き等を補正した撮像画像から文字を認識することで、テキストを抽出する。画像から文字を認識する処理をOCRと呼ぶ。
ステップS307において、サーバは、抽出したテキストから本に記載されている文字の言語(記載言語)を判定する。
ステップS308では、サーバは、必要に応じて、判定した文字の言語に基づいてテキストを補正する。「必要に応じて」とは、例えば誤読文字や未認識文字が多く文字認識率が一定値より低い場合等である。加えて、本や章のタイトルやページ数をテキストに含めない、漢字にルビ(よみ)が振られている場合は、重複して取り込まない、といった補正が加えられる。
ステップS306において、サーバは、向き等を補正した撮像画像から文字を認識することで、テキストを抽出する。画像から文字を認識する処理をOCRと呼ぶ。
ステップS307において、サーバは、抽出したテキストから本に記載されている文字の言語(記載言語)を判定する。
ステップS308では、サーバは、必要に応じて、判定した文字の言語に基づいてテキストを補正する。「必要に応じて」とは、例えば誤読文字や未認識文字が多く文字認識率が一定値より低い場合等である。加えて、本や章のタイトルやページ数をテキストに含めない、漢字にルビ(よみ)が振られている場合は、重複して取り込まない、といった補正が加えられる。
情報処理装置SPの自動テキスト化アプリでは、サーバからテキストを受信すると、ステップS309において、自動テキスト化アプリが、受信した処理結果のデータを表示部のUI31に表示する。
UI31には、表示エリア32にテキスト化言語のテキストが表示される。
ここで、ユーザがテキストに間違いを発見し、訂正したい場合は、ステップS310において、ユーザが修正ボタン36をクリック操作すると、編集機能が有効になり表示エリア32のテキストが編集可能になるので、ステップS311において、表示エリア32のテキストを手操作(手入力)で修正する。修正後、テキストは、サーバへ送られる。
一方、テキストに間違いがない場合は、ユーザがUI31の確定ボタン(図示せず)をクリック操作すると、クラウドCDにテキストの内容が確定した旨が通知される。確定ボタンを押さなくても、修正ボタンが押されない限り、修正はなく確定されていると考えることも可能である。
UI31には、表示エリア32にテキスト化言語のテキストが表示される。
ここで、ユーザがテキストに間違いを発見し、訂正したい場合は、ステップS310において、ユーザが修正ボタン36をクリック操作すると、編集機能が有効になり表示エリア32のテキストが編集可能になるので、ステップS311において、表示エリア32のテキストを手操作(手入力)で修正する。修正後、テキストは、サーバへ送られる。
一方、テキストに間違いがない場合は、ユーザがUI31の確定ボタン(図示せず)をクリック操作すると、クラウドCDにテキストの内容が確定した旨が通知される。確定ボタンを押さなくても、修正ボタンが押されない限り、修正はなく確定されていると考えることも可能である。
情報処理装置SPの自動テキスト化アプリから通知を受けたクラウドCDのサーバは、ステップS312において、情報処理装置SPにおいて修正したテキスト又はサーバでテキスト化したテキストから本のタイトル(題名)と本の記載言語を抽出する。
そして、サーバは、ステップS313において、抽出した本のタイトル(題名)と本の記載言語に基づいて、出版本のデータベースや予めメモリに記憶しているリファレンスデータ等を参照して既存の本の内容(テキスト)とマッチングし、本の内容が合致した既存の本のタイトル(題名)を特定し、特定した本のタイトル(題名)と記載言語を情報処理装置SPに通知する。マッチングの結果、既存の本のタイトル(題名)が合致しない場合は、その旨を情報処理装置SPの自動テキスト化アプリに通知する。
そして、サーバは、ステップS313において、抽出した本のタイトル(題名)と本の記載言語に基づいて、出版本のデータベースや予めメモリに記憶しているリファレンスデータ等を参照して既存の本の内容(テキスト)とマッチングし、本の内容が合致した既存の本のタイトル(題名)を特定し、特定した本のタイトル(題名)と記載言語を情報処理装置SPに通知する。マッチングの結果、既存の本のタイトル(題名)が合致しない場合は、その旨を情報処理装置SPの自動テキスト化アプリに通知する。
情報処理装置SPの自動テキスト化アプリでは、サーバからの既存の本のタイトル(題名)と本の記載言語の通知があると、自動テキスト化アプリは、既存の本のタイトル(題名)と本の記載言語に基づいて本のデータを出版本のデータベースやメモリ、インターネットの本のサイト等から取得して、ステップS314において、直前にテキスト化したページの終了位置が保持されていれば、その位置からテキストを表示する。
また、情報処理装置SPの自動テキスト化アプリでは、サーバからの既存の本のタイトルが合致しなかった旨の通知を受信すると、自動テキスト化アプリは、本のテキスト化を進めるため、ステップS315において、直前に音読したページの次のページを撮像し、撮像した撮像画像をクラウドCDへ送信する。
また、情報処理装置SPの自動テキスト化アプリでは、サーバからの既存の本のタイトルが合致しなかった旨の通知を受信すると、自動テキスト化アプリは、本のテキスト化を進めるため、ステップS315において、直前に音読したページの次のページを撮像し、撮像した撮像画像をクラウドCDへ送信する。
クラウドCDでは、サーバが、ステップS316乃至ステップS319において、ステップS305乃至ステップS308と同様の処理を行う。
そして、ステップS320において、サーバは、本の記載言語とテキストとに基づいて、出版本のデータベースや予めメモリに記憶しているリファレンスデータ等を参照して既存の本(出版本等)との本の内容とマッチングし、互いのデータが合致すれば、つまりマッチングできれば、その本のテキストを含むデータを、出版本のデータベースやメモリから取得する。その後、サーバは、取得したテキストを情報処理装置SPの自動テキスト化アプリへ送信する。
そして、ステップS320において、サーバは、本の記載言語とテキストとに基づいて、出版本のデータベースや予めメモリに記憶しているリファレンスデータ等を参照して既存の本(出版本等)との本の内容とマッチングし、互いのデータが合致すれば、つまりマッチングできれば、その本のテキストを含むデータを、出版本のデータベースやメモリから取得する。その後、サーバは、取得したテキストを情報処理装置SPの自動テキスト化アプリへ送信する。
情報処理装置SPの自動テキスト化アプリでは、サーバからテキストを受信すると、ステップS321において、自動テキスト化アプリが、テキストを表示部のUI31に表示する。
UI31に表示されたテキストに間違いがあれば、ステップS322、S323において、ステップS311、S312と同様にテキストの修正を行う。
表示したテキストに間違いがなく、ステップS324において、次のテキスト化ページがあれば(ステップS324のYes)、ステップS325において、ユーザは、本のページをめくって、めくったページを情報処理装置SPに撮像させる。次の音読ページの有無については、撮像画像の隣接ページの有無を検出してもよく、ユーザにより新たなページがめくられたか否かを検出してもよい。
また、撮像画像に2ページ分の本の画像が写っていた場合、自動テキスト化アプリは、撮像画像の中から隣の次のページの画像を切り出して、サーバへ送信し、ステップS316へ進む。
一方、ステップS324において、次のテキスト化したいページがなければ(ステップS324のNo)、テキスト化終了の通知がクラウドCDに送信される。
UI31に表示されたテキストに間違いがあれば、ステップS322、S323において、ステップS311、S312と同様にテキストの修正を行う。
表示したテキストに間違いがなく、ステップS324において、次のテキスト化ページがあれば(ステップS324のYes)、ステップS325において、ユーザは、本のページをめくって、めくったページを情報処理装置SPに撮像させる。次の音読ページの有無については、撮像画像の隣接ページの有無を検出してもよく、ユーザにより新たなページがめくられたか否かを検出してもよい。
また、撮像画像に2ページ分の本の画像が写っていた場合、自動テキスト化アプリは、撮像画像の中から隣の次のページの画像を切り出して、サーバへ送信し、ステップS316へ進む。
一方、ステップS324において、次のテキスト化したいページがなければ(ステップS324のNo)、テキスト化終了の通知がクラウドCDに送信される。
クラウドCDでは、サーバが、情報処理装置SPから受信されたテキスト化終了の通知によって、ステップS326において、テキストの終了位置を記憶し、ステップS327において、サーバ側のテキスト化処理を終了する。
このように動作するテキスト化機能を有する情報処理装置SPによれば、鏡MLを取り付けた情報処理装置SPを台BSにセットし、ページを開いた本をフロントカメラで撮像すると、撮像されたページの撮像画像がUI31の撮像画像表示エリア35に表示されるので、撮像画像表示エリア35の撮像画像を確認しながら本の撮像範囲の位置合わせができ、正しい撮像範囲で本のページを撮像することができる。この結果、ページの見切れ等がなくなり、本をテキスト化する際のミスを少なくすることができる。
また、情報処理装置SPの自動テキスト化アプリによれば、本のページの撮像画像を文字認識処理してテキストを抽出し、情報処理装置SPの自動テキスト化アプリに取り込み、UI31の表示エリア32に表示するので、紙媒体の本を電子化するのを短い作業時間で行うことができる。
さらに、情報処理装置SPの自動テキスト化アプリによれば、抽出したテキストに基づいて、既存の本を特定し、既存の本のデータを取得するので、全文をテキスト化するのに比べて誤読や未読がなくなり、本のテキスト化の精度を向上することができる。
また、情報処理装置SPの自動テキスト化アプリによれば、本のページの撮像画像を文字認識処理してテキストを抽出し、情報処理装置SPの自動テキスト化アプリに取り込み、UI31の表示エリア32に表示するので、紙媒体の本を電子化するのを短い作業時間で行うことができる。
さらに、情報処理装置SPの自動テキスト化アプリによれば、抽出したテキストに基づいて、既存の本を特定し、既存の本のデータを取得するので、全文をテキスト化するのに比べて誤読や未読がなくなり、本のテキスト化の精度を向上することができる。
なお、上記翻訳機能、音読機能及びテキスト化機能の動作例では、図13に示した固定式カメラを備える情報処理装置SPに鏡MLをセットした例について説明したが、これらの機能は、図1乃至図4に示す情報処理装置1や図20及び図21に示した、スライド式回転カメラを備える情報処理装置1にも適用することができる。
図1乃至図4に示す情報処理装置1や図20及び図21に示す情報処理装置1では、必要に応じて、表示部をスライドして情報処理装置1を立てた状態で、図16に示す台BSにセットし、回転カメラを情報処理装置1の後側から前方向に回転させて回転カメラの光軸を下方に向けることができるので、鏡MLを取り付けることなく、読み取り対象のページを広げた本の読み取りが可能になる。左右を反転させる鏡モードも不要になる。ただし、撮影設定次第で、上下の反転が必要になる場合がある。
また、上記翻訳機能、音読機能及びテキスト化機能は、図22に示した、回転カメラを備える情報処理装置1にも適用できることは言うまでもない。
図1乃至図4に示す情報処理装置1や図20及び図21に示す情報処理装置1では、必要に応じて、表示部をスライドして情報処理装置1を立てた状態で、図16に示す台BSにセットし、回転カメラを情報処理装置1の後側から前方向に回転させて回転カメラの光軸を下方に向けることができるので、鏡MLを取り付けることなく、読み取り対象のページを広げた本の読み取りが可能になる。左右を反転させる鏡モードも不要になる。ただし、撮影設定次第で、上下の反転が必要になる場合がある。
また、上記翻訳機能、音読機能及びテキスト化機能は、図22に示した、回転カメラを備える情報処理装置1にも適用できることは言うまでもない。
次に、図31、図32を参照して、図13に示した情報処理装置SPの他の実施形態を説明する。図31、図32は、情報処理装置SPの他の実施形態を示す図である。
図31に示すように、この実施形態の情報処理装置SPは、情報処理装置本体SP1の上端部分にフロントカメラFCが搭載されている。情報処理装置本体SP1は、所定の厚みT1を有する。
情報処理装置本体SP1には、フロントカメラFCの部分を覆うように、鏡ユニットMUが取り付けられている。鏡ユニットMUには、溝MZが設けられている。図に向かって溝MZの右側が支持部MU1、左側が反射部MU2とされている。
反射部MU2の内側は、傾斜した壁面とその左右端をカバーする壁面とを有しており、下方と情報処理装置本体SP1側の側方に開口されている。
反射部MU2の傾斜した壁面には、情報処理装置本体SP1のフロントカメラFCの光軸方向に鏡MLが傾斜して配置されており、情報処理装置本体SP1を立てた状態で、下方の面(台BSが置かれた面)に、ページを開いて置かれた本が鏡MLによりフロントカメラFCで撮像可能にされている。
鏡ユニットMUの溝MZは、情報処理装置本体SP1の厚みT1よりも広い幅で設けられている。このため、情報処理装置本体SP1に鏡ユニットMUを取り付けると、隙間が空く。この隙間を埋めるように情報処鏡ユニットMUの溝MZには、情報処理装置本体SP1との間にアタッチメントAT1が配置されている。
アタッチメントAT1は、情報処理装置本体SP1の厚みT1に対応して情報処鏡ユニットMUの溝MZとの隙間を塞ぎ、情報処鏡ユニットMUを情報処理装置本体SP1に固定するためのものである。
他の実施形態として、例えば図32に示すように、厚みT1よりも厚い厚みT2の情報処理装置本体SP2の場合、図31に示したアタッチメントAT1よりも薄いアタッチメントAT2が用意されている。
情報処理装置本体SP2に鏡ユニットMUを装着する際に、溝MZにアタッチメントAT2を挿入することで、溝MZの部分に隙間なく鏡ユニットMUを情報処理装置本体SP2に固定することができる。
図31に示すように、この実施形態の情報処理装置SPは、情報処理装置本体SP1の上端部分にフロントカメラFCが搭載されている。情報処理装置本体SP1は、所定の厚みT1を有する。
情報処理装置本体SP1には、フロントカメラFCの部分を覆うように、鏡ユニットMUが取り付けられている。鏡ユニットMUには、溝MZが設けられている。図に向かって溝MZの右側が支持部MU1、左側が反射部MU2とされている。
反射部MU2の内側は、傾斜した壁面とその左右端をカバーする壁面とを有しており、下方と情報処理装置本体SP1側の側方に開口されている。
反射部MU2の傾斜した壁面には、情報処理装置本体SP1のフロントカメラFCの光軸方向に鏡MLが傾斜して配置されており、情報処理装置本体SP1を立てた状態で、下方の面(台BSが置かれた面)に、ページを開いて置かれた本が鏡MLによりフロントカメラFCで撮像可能にされている。
鏡ユニットMUの溝MZは、情報処理装置本体SP1の厚みT1よりも広い幅で設けられている。このため、情報処理装置本体SP1に鏡ユニットMUを取り付けると、隙間が空く。この隙間を埋めるように情報処鏡ユニットMUの溝MZには、情報処理装置本体SP1との間にアタッチメントAT1が配置されている。
アタッチメントAT1は、情報処理装置本体SP1の厚みT1に対応して情報処鏡ユニットMUの溝MZとの隙間を塞ぎ、情報処鏡ユニットMUを情報処理装置本体SP1に固定するためのものである。
他の実施形態として、例えば図32に示すように、厚みT1よりも厚い厚みT2の情報処理装置本体SP2の場合、図31に示したアタッチメントAT1よりも薄いアタッチメントAT2が用意されている。
情報処理装置本体SP2に鏡ユニットMUを装着する際に、溝MZにアタッチメントAT2を挿入することで、溝MZの部分に隙間なく鏡ユニットMUを情報処理装置本体SP2に固定することができる。
このように構成される情報処理装置SPでは、厚みの異なる情報処理装置本体SP1や情報処理装置本体SP2の厚み方向を吸収するためのアタッチメントAT1、AT2を取り付けることにより、様々な厚みやケース付きの情報処理装置SPに対応し、鏡ユニットMUを情報処理装置本体SP1、SP2にしっかり固定することができる。
即ち、情報処理装置本体SP1、SP2の厚みT1、T2に応じてアタッチメントAT1、AT2を用意することで、様々な厚みの情報処理装置SPに鏡ユニットMUを装着して、本の読み取りが可能になる。
即ち、情報処理装置本体SP1、SP2の厚みT1、T2に応じてアタッチメントAT1、AT2を用意することで、様々な厚みの情報処理装置SPに鏡ユニットMUを装着して、本の読み取りが可能になる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での省略を含む変形、改良等は本発明に含まれるものである。
例えば、既存の本の内容(テキスト)とマッチングは、必ずしも行う必要はない。マッチングを行うにしても、本のタイトルを撮影するのではなく、本のバーコードを撮影することでマッチングを図っても良い。
上記実施形態では、本を読み取る例について説明したが、これに限らず、雑誌等の書物を含む紙の記録媒体のテキスト化もほぼ同様である。紙の記録媒体を紙葉類という。紙葉類以外にも、電子書籍のような、紙の表示に近いもののテキスト化もほぼ同様である。
上記実施形態では、翻訳や音読のプロセスを行ったが、これらのプロセスをスキップし、撮像画像から抽出したテキストと撮像画像をUI31に共に表示させるだけでも良い。
また、UI31にテキストを表示するだけではなく、領収書等のデータを入力する書式データ(フォーマット)をメモリに登録しておき、そのフォーマットのカラム(入力項目)に数字を含むテキストを入力することで、例えば金額や日付や宛名等を入力した領収書又は領収書に対する支払い伝票等を自動的に生成することができる。
例えば、既存の本の内容(テキスト)とマッチングは、必ずしも行う必要はない。マッチングを行うにしても、本のタイトルを撮影するのではなく、本のバーコードを撮影することでマッチングを図っても良い。
上記実施形態では、本を読み取る例について説明したが、これに限らず、雑誌等の書物を含む紙の記録媒体のテキスト化もほぼ同様である。紙の記録媒体を紙葉類という。紙葉類以外にも、電子書籍のような、紙の表示に近いもののテキスト化もほぼ同様である。
上記実施形態では、翻訳や音読のプロセスを行ったが、これらのプロセスをスキップし、撮像画像から抽出したテキストと撮像画像をUI31に共に表示させるだけでも良い。
また、UI31にテキストを表示するだけではなく、領収書等のデータを入力する書式データ(フォーマット)をメモリに登録しておき、そのフォーマットのカラム(入力項目)に数字を含むテキストを入力することで、例えば金額や日付や宛名等を入力した領収書又は領収書に対する支払い伝票等を自動的に生成することができる。
例えば、連結部12は、上述の実施形態では、カメラ基部12-1と、カメラ指向部12-2という2つの可動部から構成されていたが、特に上述の実施形態に限定されず、本体部11より容積が小さい可動部を1以上有していれば足りる。
この場合、撮像部たるカメラ21は、1以上の可動部のうち所定の1つの所定の面に配置されれば足りる。
さらに、1以上の可動部のうち任意の個数の任意の種類の可動部(撮像部が配置された可動部含む)には、任意の機能を有するデバイスを搭載させることができる。
この場合、撮像部たるカメラ21は、1以上の可動部のうち所定の1つの所定の面に配置されれば足りる。
さらに、1以上の可動部のうち任意の個数の任意の種類の可動部(撮像部が配置された可動部含む)には、任意の機能を有するデバイスを搭載させることができる。
例えば、本発明の情報処理装置1は、赤外線式リモコン(リモートコントローラ)として使用できて良い。
例えば、本発明の情報処理装置1の一実施形態によれば、カメラでリモコンを撮影すると、画像認識して、1つ1つのボタンの機能を情報処理装置のディスプレイとタッチパネルで実現し、情報処理装置から赤外線コマンドを出すか、情報処理装置からWi-Fi(登録商標)やBluetooth(登録商標)などの無線で、赤外線発信機にコマンドを送ることとして良い。
例えば、本発明の情報処理装置1の一実施形態によれば、カメラでリモコンを撮影すると、画像認識して、1つ1つのボタンの機能を情報処理装置のディスプレイとタッチパネルで実現し、情報処理装置から赤外線コマンドを出すか、情報処理装置からWi-Fi(登録商標)やBluetooth(登録商標)などの無線で、赤外線発信機にコマンドを送ることとして良い。
例えば、本発明の情報処理装置1の一実施形態によれば、2軸回転カメラ、1軸回転カメラ、360度カメラで撮影した画像に対して、AR上でナビゲーションを行う機能を実現することができる。
この場合において、ナビゲーションシステムは、例えば、画像は表示せず、音声のみであって良い。
また、情報処理装置1は、例えば、ハプティクスで曲がり角を報知して良い。
また、情報処理装置1は、例えば、カメラ21が自動で回転して、方向を報知して良い。
この場合において、ナビゲーションシステムは、例えば、画像は表示せず、音声のみであって良い。
また、情報処理装置1は、例えば、ハプティクスで曲がり角を報知して良い。
また、情報処理装置1は、例えば、カメラ21が自動で回転して、方向を報知して良い。
図23乃至図30に示した、翻訳、音読及びテキスト化の各機能は、情報処理装置SPとクラウドCDとをネットワークを介して接続したシステムにより実現したが、クラウドCD側の機能を情報処理装置SPに含めて、翻訳、音読及びテキスト化の各機能を情報処理装置SP単体で実現してもよい。
このように、本発明が適用される情報処理装置1は、各種各様な実施形態を取ることが可能である。換言すると、本発明が適用される情報処理装置1は、次のような構成を取れば足り、その実施形態は特に限定されない。
即ち、本発明が適用される情報処理装置(例えば、図1の情報処理装置1)は、
撮像を行う撮像手段(例えば、図2のカメラ21)と、
前記撮像手段が生成する撮像画像から被写体を抽出する被写体抽出手段と、
前記被写体が示す情報を抽出する情報抽出手段と、
前記情報を解析する情報解析手段と、
前記解析の結果に基づいてオブジェクトを生成する生成手段と、
前記オブジェクトを前記撮像画像と共に提示する提示手段と、
を備える。
即ち、本発明が適用される情報処理装置(例えば、図1の情報処理装置1)は、
撮像を行う撮像手段(例えば、図2のカメラ21)と、
前記撮像手段が生成する撮像画像から被写体を抽出する被写体抽出手段と、
前記被写体が示す情報を抽出する情報抽出手段と、
前記情報を解析する情報解析手段と、
前記解析の結果に基づいてオブジェクトを生成する生成手段と、
前記オブジェクトを前記撮像画像と共に提示する提示手段と、
を備える。
また、本発明が適用される情報処理装置(例えば、図13の情報処理装置SP)は、
文字列が配置された記録媒体(図13(B)の本等)を撮像する撮像手段(例えば図13(C)の情報処理装置SPのフロントカメラ)と、
前記撮像手段により撮像される撮像画像に基づいて前記文字列に対応するテキストデータを生成するテキストデータ生成手段(例えば図13(A)の情報処理装置SPの自動翻訳音読アプリ)と、
前記撮像手段により撮像される撮像画像と前記テキストデータとを共に提示する提示手段(例えば図23のUI31)と、
を備える。
このように構成することにより、カメラ視点画像を視認しながらも、自由な姿勢で撮影することができる。また、この構成によれば、ユーザは、撮像画像の写り(記録媒体の文字列の位置)を確認し記録媒体を調整しながら、生成されるテキストデータを閲覧できるので、テキストデータをミスなく生成することができる。
上記情報処理装置の前記撮像手段(例えば図20の回転カメラ21)は、
情報処理装置本体(例えば図20の情報処理装置1)の端部に、光軸が前記情報処理装置本体の背面側から前記テキストデータが提示される正面側に向くように回動可能に支持される。
このように構成することにより、光軸を屈折させる鏡等の部材を取り付けることなく、テキストデータを生成することができる。
上記情報処理装置SPの前記撮像手段(例えば図13(C)または図31のフロントカメラFC)は、
情報処理装置本体SP1の端部に、前記テキストデータが提示される表示部13の法線方向に光軸を向けて設けられ、
前記情報処理装置本体SP1に取り付けられた鏡MLを介して屈折させた前記光軸の方向から前記記録媒体(例えば図13(B)の本)のページを撮像するよう構成される。
このように構成することにより、情報処理装置SPを台BSに立てた状態で、平面に開いて配置した本のページを撮像することができるようになり、ユーザが情報処理装置本体SP1を持つことなく、本のページめくりや本の位置調整等を行うことができようなる。
上記情報処理装置1の前記撮像手段(例えば図20の回転カメラ21)は、
情報処理装置本体(例えば図20の本体部11)の端部に、光軸を前記情報処理装置本体の背面側から前記テキストデータが提示される正面側に向くように回動可能に支持され、
前記情報処理装置本体の正面にスライド移動可能に設けられた表示部13が前記情報処理装置本体と重なる第1の状態(例えば図20(A)では第1の範囲(0°から180°)を可動域とし、
前記表示部13をスライドさせた、前記表示部13の一部が前記情報処理装置本体と重ならない第2の状態(例えば図20(B)では、前記第1の範囲よりも広い前記第2の範囲(0°乃至270°)を可動域とする。さらにはスライドした表示部13の端面に回転カメラ21が当接するまで、270°以上の範囲を可動域とする。
なお、0°は、回転カメラ21が本体部11の溝又は切り欠き部に収容された状態(回転カメラ21と本体部11が厚み方向に重なった状態)であり、180°は、回転カメラ21が本体部11の外部で直線状に並んだ状態である。180°を超えると、回転カメラ21は本体部11の正面11a側に突出し、270°は、回転カメラ21の光軸が本体部11の真下に向いた状態である。
このように構成することにより、情報処理装置1を台BSに立てた状態で、鏡MLを取り付けることなく台BSが置かれた面に開いて配置した本のページを撮像することができるようになり、ユーザが情報処理装置本体を持つことなく、本のページめくりや本の位置調整等を行うことができようなる。
上記情報処理装置1(例えば図10又は図11の情報処理装置1)は、
前記撮像手段により撮像される撮像画像に、前記撮像手段の向きを示す情報を付与する。
このように構成することにより、ユーザは、写真撮影時の情報処理装置1の状況がどのようであったか(本体部11を横位置して回転カメラ21を縦長の画角にして撮像した、本体部11を縦位置して回転カメラ21を横長の画角で撮った等)を把握することができる。
上記情報処理装置1(例えば図13又は図20の情報処理装置SP)は、
前記撮像画像を、前記テキストデータを生成するために適した画像に補正する補正手段(例えば図13又は図20の情報処理装置SPの自動翻訳音読アプリ等)、
を備える。
このように構成することにより、OCRの際の誤読または未読が減少し、テキストデータの文字認識精度を向上することができる。
上記情報処理装置SP(例えば図13、図20の情報処理装置SP又はクラウドCD)は、
前記テキストデータの翻訳及び音読のうち少なくとも一方を行う処理手段(例えば図13、図20の情報処理装置SPの自動翻訳音読アプリ等)、
を備える。
このように構成することにより、情報処理装置SPにおいて翻訳されたテキストデータの閲覧や音読再生が可能になる。
上記情報処理装置SP(例えば図13、図20の情報処理装置SP又はクラウドCD)は、
前記テキストデータが文章として未完成の場合、前記撮像画像の他の部位又は次の撮像画像から得られた前記テキストデータと結合する結合手段、
を備える。
このように構成することにより、テキストデータが結合されて1つの文章として完成するので、ユーザは、情報処理装置SPにおいて本の文章を途切れることなく閲覧したり音読再生が可能になる。
文字列が配置された記録媒体(図13(B)の本等)を撮像する撮像手段(例えば図13(C)の情報処理装置SPのフロントカメラ)と、
前記撮像手段により撮像される撮像画像に基づいて前記文字列に対応するテキストデータを生成するテキストデータ生成手段(例えば図13(A)の情報処理装置SPの自動翻訳音読アプリ)と、
前記撮像手段により撮像される撮像画像と前記テキストデータとを共に提示する提示手段(例えば図23のUI31)と、
を備える。
このように構成することにより、カメラ視点画像を視認しながらも、自由な姿勢で撮影することができる。また、この構成によれば、ユーザは、撮像画像の写り(記録媒体の文字列の位置)を確認し記録媒体を調整しながら、生成されるテキストデータを閲覧できるので、テキストデータをミスなく生成することができる。
上記情報処理装置の前記撮像手段(例えば図20の回転カメラ21)は、
情報処理装置本体(例えば図20の情報処理装置1)の端部に、光軸が前記情報処理装置本体の背面側から前記テキストデータが提示される正面側に向くように回動可能に支持される。
このように構成することにより、光軸を屈折させる鏡等の部材を取り付けることなく、テキストデータを生成することができる。
上記情報処理装置SPの前記撮像手段(例えば図13(C)または図31のフロントカメラFC)は、
情報処理装置本体SP1の端部に、前記テキストデータが提示される表示部13の法線方向に光軸を向けて設けられ、
前記情報処理装置本体SP1に取り付けられた鏡MLを介して屈折させた前記光軸の方向から前記記録媒体(例えば図13(B)の本)のページを撮像するよう構成される。
このように構成することにより、情報処理装置SPを台BSに立てた状態で、平面に開いて配置した本のページを撮像することができるようになり、ユーザが情報処理装置本体SP1を持つことなく、本のページめくりや本の位置調整等を行うことができようなる。
上記情報処理装置1の前記撮像手段(例えば図20の回転カメラ21)は、
情報処理装置本体(例えば図20の本体部11)の端部に、光軸を前記情報処理装置本体の背面側から前記テキストデータが提示される正面側に向くように回動可能に支持され、
前記情報処理装置本体の正面にスライド移動可能に設けられた表示部13が前記情報処理装置本体と重なる第1の状態(例えば図20(A)では第1の範囲(0°から180°)を可動域とし、
前記表示部13をスライドさせた、前記表示部13の一部が前記情報処理装置本体と重ならない第2の状態(例えば図20(B)では、前記第1の範囲よりも広い前記第2の範囲(0°乃至270°)を可動域とする。さらにはスライドした表示部13の端面に回転カメラ21が当接するまで、270°以上の範囲を可動域とする。
なお、0°は、回転カメラ21が本体部11の溝又は切り欠き部に収容された状態(回転カメラ21と本体部11が厚み方向に重なった状態)であり、180°は、回転カメラ21が本体部11の外部で直線状に並んだ状態である。180°を超えると、回転カメラ21は本体部11の正面11a側に突出し、270°は、回転カメラ21の光軸が本体部11の真下に向いた状態である。
このように構成することにより、情報処理装置1を台BSに立てた状態で、鏡MLを取り付けることなく台BSが置かれた面に開いて配置した本のページを撮像することができるようになり、ユーザが情報処理装置本体を持つことなく、本のページめくりや本の位置調整等を行うことができようなる。
上記情報処理装置1(例えば図10又は図11の情報処理装置1)は、
前記撮像手段により撮像される撮像画像に、前記撮像手段の向きを示す情報を付与する。
このように構成することにより、ユーザは、写真撮影時の情報処理装置1の状況がどのようであったか(本体部11を横位置して回転カメラ21を縦長の画角にして撮像した、本体部11を縦位置して回転カメラ21を横長の画角で撮った等)を把握することができる。
上記情報処理装置1(例えば図13又は図20の情報処理装置SP)は、
前記撮像画像を、前記テキストデータを生成するために適した画像に補正する補正手段(例えば図13又は図20の情報処理装置SPの自動翻訳音読アプリ等)、
を備える。
このように構成することにより、OCRの際の誤読または未読が減少し、テキストデータの文字認識精度を向上することができる。
上記情報処理装置SP(例えば図13、図20の情報処理装置SP又はクラウドCD)は、
前記テキストデータの翻訳及び音読のうち少なくとも一方を行う処理手段(例えば図13、図20の情報処理装置SPの自動翻訳音読アプリ等)、
を備える。
このように構成することにより、情報処理装置SPにおいて翻訳されたテキストデータの閲覧や音読再生が可能になる。
上記情報処理装置SP(例えば図13、図20の情報処理装置SP又はクラウドCD)は、
前記テキストデータが文章として未完成の場合、前記撮像画像の他の部位又は次の撮像画像から得られた前記テキストデータと結合する結合手段、
を備える。
このように構成することにより、テキストデータが結合されて1つの文章として完成するので、ユーザは、情報処理装置SPにおいて本の文章を途切れることなく閲覧したり音読再生が可能になる。
1・・・情報処理装置
1-1乃至1-3・・・情報処理装置
11・・・本体部
11a・・・正面
11b・・・背面
12・・・連結部
12-1・・・カメラ基部
12-2・・・カメラ指向部
13・・・表示部
14・・・スタンド
21・・・カメラ
AD1、AD2・・・広告
AL・・・補助線
B1・・・削除ボタン
B2・・・検討中ボタン
B3・・・保持ボタン
BS・・・台
CD・・・クラウド
CL・・・クリップ
CO・・・対象物
EP1、EP2・・・換算価格表示
G1、G2・・・ゲーム画像
GC・・・ゲームキャラクタ
GI1乃至GI4・・・ガイド情報
GS・・・ガソリンスタンドの映像
HB・・・半透過ボタン
MD・・・ユーザ
ML・・・鏡
MN・・・レストランメニュー
MP・・・地図
MS・・・メッセージ
OB・・・原文ボタン
OT・・・原文
OP1、OP2・・・原価格表示
OP・・・過去の写真
OW・・・料理名
PL・・・人
PQ・・・問題
PW・・・地名
QG・・・問題画像
QP・・・問題用紙
RC・・・シャッターリモコン
RM・・・ラーメン店の行列の映像
SC・・・画面
SP・・・固定式カメラを備える情報処理装置
SS・・・音源
TB・・・翻訳ボタン
TT・・・翻訳文
TW・・・翻訳文
U・・・ユーザ
WK・・・対象物
Z1、Z2、Z3、Z4・・・回動軸
1-1乃至1-3・・・情報処理装置
11・・・本体部
11a・・・正面
11b・・・背面
12・・・連結部
12-1・・・カメラ基部
12-2・・・カメラ指向部
13・・・表示部
14・・・スタンド
21・・・カメラ
AD1、AD2・・・広告
AL・・・補助線
B1・・・削除ボタン
B2・・・検討中ボタン
B3・・・保持ボタン
BS・・・台
CD・・・クラウド
CL・・・クリップ
CO・・・対象物
EP1、EP2・・・換算価格表示
G1、G2・・・ゲーム画像
GC・・・ゲームキャラクタ
GI1乃至GI4・・・ガイド情報
GS・・・ガソリンスタンドの映像
HB・・・半透過ボタン
MD・・・ユーザ
ML・・・鏡
MN・・・レストランメニュー
MP・・・地図
MS・・・メッセージ
OB・・・原文ボタン
OT・・・原文
OP1、OP2・・・原価格表示
OP・・・過去の写真
OW・・・料理名
PL・・・人
PQ・・・問題
PW・・・地名
QG・・・問題画像
QP・・・問題用紙
RC・・・シャッターリモコン
RM・・・ラーメン店の行列の映像
SC・・・画面
SP・・・固定式カメラを備える情報処理装置
SS・・・音源
TB・・・翻訳ボタン
TT・・・翻訳文
TW・・・翻訳文
U・・・ユーザ
WK・・・対象物
Z1、Z2、Z3、Z4・・・回動軸
Claims (19)
- 文字列が配置された媒体を撮像する撮像手段と、
前記撮像手段の光軸方向を屈折させる別体の鏡と、
前記鏡を介して、撮像した撮像画像をクラウドに送信する送信手段と、
前記撮像手段により撮像される撮像画像に基づいて前記文字列に対応するテキストデータを生成するテキストデータ生成手段と、
を備える、情報処理装置。 - 前記クラウドに送信された撮像画像に対して、左右反転、上下反転、回転、文字列が配置された媒体部の湾曲補正、文字列が配置された媒体部の台形補正、コントラストの調整、文字列が配置された媒体部だけの切り抜き、写り込んでしまった指の画像の削除のうちの少なくとも一つの画像補正を行う補正手段、
を備える、請求項1記載の情報処理装置。 - 前記テキストデータの翻訳及び音読のうち少なくとも一方を行う処理手段、
を備える、請求項1記載の情報処理装置。 - 前記文字列が配置された媒体の前記テキストデータまたは前記媒体に記載のバーコード情報から、過去の前記テキストデータまたは前記バーコード情報と所定の関連付けられたリファレンスデータを参照し、前記リファレンスデータを提示する提示手段をもつ、
請求項1記載の情報処理装置。 - 前記撮像手段により撮像された撮像画像と前記テキストデータとをともに提示する提示手段をもつ、
請求項1記載の情報処理装置。 - 前記テキストデータが文章として未完成の場合、前記撮像画像の他の部位又は次の撮像画像から得られた前記テキストデータと結合して1つの文章を完成させる結合手段をもつ、
請求項1記載の情報処理装置。 - 文字列が配置された記録媒体を撮像する撮像手段と、
前記撮像手段の光軸方向を変化させるように、前記撮像手段を回動させるヒンジ部と、
撮像した撮像画像をクラウドに送信する送信手段と、
前記撮像手段により撮像された撮像画像に基づいて前記文字列に対応するテキストデータを生成するテキストデータ生成手段と、
を備える、情報処理装置。 - 前記撮像画像に対して、左右反転、上下反転、回転、文字列が配置された媒体部の湾曲補正、文字列が配置された媒体部の台形補正、コントラストの調整、文字列が配置された媒体部だけの切り抜き、写り込んでしまった指の画像の削除のうちの少なくとも一つの画像補正を行う補正手段、
を備える、請求項7記載の情報処理装置。 - 前記テキストデータの翻訳及び音読のうち少なくとも一方を行う処理手段、
を備える、請求項7記載の情報処理装置。 - 前記文字列が配置された媒体のテキストデータまたは前記媒体に記載のバーコード情報から、過去の前記テキストデータまたは前記バーコード情報と所定の関連付けられたリファレンスデータを参照し、前記リファレンスデータを提示する提示手段をもつ、
請求項7記載の情報処理装置。 - 前記撮像手段により撮像された撮像画像と前記テキストデータとをともに提示する提示手段をもつ、
請求項7記載の情報処理装置。 - 前記テキストデータが文章として未完成の場合、前記撮像画像の他の部位又は次の撮像画像から得られた前記テキストデータと結合して1つの文章を完成させる結合手段をもつ、
請求項7記載の情報処理装置。 - 被写体を撮像する撮像部と、
前記撮像部と厚み方向で重なり、前記撮像部により撮像される前記被写体を含む撮像画像を表示する表示部と、
前記撮像部の光軸方向と前記表示部に対する法線方向とのなす角度を変化させるように、前記撮像部を前記表示部の短手方向に平行な第1の回転軸で両持ち軸支しながら、本体部に対して相対的に回動可能に支持するヒンジ部と、
を備え、
前記撮像部は、
前記第1の回転軸が表示部と厚み方向で重なる位置から重ならない位置まで、前記表示部に対して、相対的に平行移動可能なスマートホン。 - 前記撮像部は、
前記ヒンジ部を駆動し前記撮像部を回転させる駆動部と、
前記撮像部に対する移動指示に応じて、前記撮像部を指示方向へ回転させるように前記駆動部を制御する制御部と、
を含む、
請求項13に記載のスマートホン。 - 前記撮像部は、
前記表示部の長手方向に平行な第2の回転軸で回動可能に支持するヒンジ部、
を含む、
請求項13に記載のスマートホン。 - 前記撮像部は、
前記表示部と厚み方向で重ならない位置で、前記第2の回転軸で回動可能に支持するヒンジ部、
を含む、
請求項13に記載のスマートホン。 - 前記表示部が、
前記並行移動指示をタッチ操作で行うためのタッチパネル、
を含む、
請求項13に記載のスマートホン。 - 前記ヒンジ部が、
前記表示部の短手方向に対して平行に配置された第1の回転軸と、
前記表示部の長手方向に対して平行に配置された第2の回転軸と、
を備え、
前記第2の回転軸を中心に前記撮像部を回動させる際、前記撮像部の回転に合わせて前記第1の回転軸が回転しない、
請求項13乃至17のうち何れか1項に記載のスマートホン。 - 撮像部により撮像される前記被写体を含む撮像画像を表示する表示部が所定の一面に配置された、前記撮像部よりも容積が大きい本体部と、
前記撮像部の光軸方向と前記表示部の法線方向とのなす角度を変化させるように前記撮像部を、前記表示部の短手方向に平行な回転軸で両持ち軸支しながら、前記本体部に対して相対的に回動可能に支持するヒンジ部と、
前記本体部の前記一面と対向する他の一面に設けられ、前記ヒンジ部により前記他の一面側に回転された前記撮像部を前記本体部と厚み方向で重なる形で収容可能な凹みと、
前記本体部に配置され、単体で前記本体部の方向を検出する第1センサと、
前記撮像部に配置され、単体で前記撮像部の方向を検出する第2センサと、
を備え、
前記第2のセンサにより検出された前記撮像部の方向に基づき、デジタル写真ファイルに方向の情報を付与する、
スマートホン。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020568648A JPWO2020158955A1 (ja) | 2019-02-01 | 2020-02-03 | 情報処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-017442 | 2019-02-01 | ||
JP2019017442 | 2019-02-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020158955A1 true WO2020158955A1 (ja) | 2020-08-06 |
Family
ID=71841100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/003977 WO2020158955A1 (ja) | 2019-02-01 | 2020-02-03 | 情報処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JPWO2020158955A1 (ja) |
WO (1) | WO2020158955A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220150675A (ko) * | 2021-05-04 | 2022-11-11 | 주식회사 에코플레이 | 카메라 결합용 반사경 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366892A (ja) * | 2001-06-05 | 2002-12-20 | Sharp Corp | 光学式文字認識装置 |
JP2010074389A (ja) * | 2008-09-17 | 2010-04-02 | Ricoh Co Ltd | 情報処理装置、処理制御システム、処理制御方法、処理制御プログラムおよび記録媒体 |
JP2016032145A (ja) * | 2014-07-28 | 2016-03-07 | セイコーエプソン株式会社 | 撮像補助装置、カメラおよび撮像制御プログラム |
JP2016076753A (ja) * | 2014-10-02 | 2016-05-12 | ジェイモードエンタープライズ株式会社 | 撮影台装置および帳票撮影システム |
JP2017016549A (ja) * | 2015-07-06 | 2017-01-19 | 株式会社日立システムズ | 文字認識装置、文字認識方法、及びプログラム |
WO2018043615A1 (ja) * | 2016-08-30 | 2018-03-08 | エックスリープ株式会社 | 情報処理端末 |
JP2018151925A (ja) * | 2017-03-14 | 2018-09-27 | 日本電気株式会社 | 端末、文字認識システム、端末の制御方法及びプログラム |
JP2018159972A (ja) * | 2017-03-22 | 2018-10-11 | 株式会社東芝 | 情報処理装置、方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001136254A (ja) * | 1999-11-10 | 2001-05-18 | Nec Corp | 携帯無線通信装置 |
JP4001314B2 (ja) * | 2000-08-29 | 2007-10-31 | 株式会社リコー | カメラおよび携帯端末装置 |
JP4261302B2 (ja) * | 2003-10-03 | 2009-04-30 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 携帯電話端末 |
KR100733032B1 (ko) * | 2005-07-15 | 2007-06-28 | 엘지전자 주식회사 | 카메라조립체 및 카메라를 구비한 이동통신 단말기 |
CN101958942A (zh) * | 2009-07-16 | 2011-01-26 | 鸿富锦精密工业(深圳)有限公司 | 便携式电子装置 |
KR20160001330A (ko) * | 2014-06-27 | 2016-01-06 | 에릭슨엘지엔터프라이즈 주식회사 | 카메라 조립체 및 이를 구비하는 전화기 |
CN206433032U (zh) * | 2017-02-20 | 2017-08-22 | 广东欧珀移动通信有限公司 | 移动终端 |
CN107864242A (zh) * | 2017-11-28 | 2018-03-30 | 上海量科电子科技有限公司 | 全屏手机及其活动式摄像装置 |
-
2020
- 2020-02-03 WO PCT/JP2020/003977 patent/WO2020158955A1/ja active Application Filing
- 2020-02-03 JP JP2020568648A patent/JPWO2020158955A1/ja active Pending
-
2021
- 2021-07-13 JP JP2021115984A patent/JP2021184095A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366892A (ja) * | 2001-06-05 | 2002-12-20 | Sharp Corp | 光学式文字認識装置 |
JP2010074389A (ja) * | 2008-09-17 | 2010-04-02 | Ricoh Co Ltd | 情報処理装置、処理制御システム、処理制御方法、処理制御プログラムおよび記録媒体 |
JP2016032145A (ja) * | 2014-07-28 | 2016-03-07 | セイコーエプソン株式会社 | 撮像補助装置、カメラおよび撮像制御プログラム |
JP2016076753A (ja) * | 2014-10-02 | 2016-05-12 | ジェイモードエンタープライズ株式会社 | 撮影台装置および帳票撮影システム |
JP2017016549A (ja) * | 2015-07-06 | 2017-01-19 | 株式会社日立システムズ | 文字認識装置、文字認識方法、及びプログラム |
WO2018043615A1 (ja) * | 2016-08-30 | 2018-03-08 | エックスリープ株式会社 | 情報処理端末 |
JP2018151925A (ja) * | 2017-03-14 | 2018-09-27 | 日本電気株式会社 | 端末、文字認識システム、端末の制御方法及びプログラム |
JP2018159972A (ja) * | 2017-03-22 | 2018-10-11 | 株式会社東芝 | 情報処理装置、方法及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220150675A (ko) * | 2021-05-04 | 2022-11-11 | 주식회사 에코플레이 | 카메라 결합용 반사경 |
KR102518438B1 (ko) | 2021-05-04 | 2023-04-05 | 주식회사 에코플레이 | 카메라 결합용 반사경 |
Also Published As
Publication number | Publication date |
---|---|
JP2021184095A (ja) | 2021-12-02 |
JPWO2020158955A1 (ja) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11659074B2 (en) | Information processing terminal | |
CN100461212C (zh) | 显示控制方法及装置以及便携设备 | |
US9583032B2 (en) | Navigating content using a physical object | |
US9563057B2 (en) | Eyewear type terminal and control method thereof | |
WO2013187100A1 (ja) | 撮像装置 | |
JP5398970B2 (ja) | 移動通信装置、制御方法 | |
US11657085B1 (en) | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures | |
EP2707820A1 (en) | Method and apparatus for enabling virtual tags | |
WO2020158955A1 (ja) | 情報処理装置 | |
JP5519751B2 (ja) | 画像鑑賞システム、画像鑑賞方法、画像鑑賞用サーバー、および端末機器 | |
JP2005010512A (ja) | 自律的撮影装置 | |
JP2016200884A (ja) | 観光誘客システム、観光誘客方法、観光誘客用データベース、情報処理装置、通信端末装置およびそれらの制御方法と制御プログラム | |
CN117716325A (zh) | 用于选择智能眼镜中的摄像头的视场的用户接口 | |
JP2010148028A (ja) | 観察装置 | |
JP5583479B2 (ja) | 携帯電子機器及び画像投影ユニット | |
CN110381250A (zh) | 提示拍照的方法及装置 | |
JP5519750B2 (ja) | 画像鑑賞システム、画像鑑賞方法、画像鑑賞用サーバー、および端末機器 | |
JP5090135B2 (ja) | 画像鑑賞システム、画像鑑賞方法、画像鑑賞用サーバー、および端末機器 | |
CN102298697A (zh) | 卡片信息收录装置 | |
TW201738649A (zh) | 環景影片與留言之間的對應方法及其系統 | |
TW201135280A (en) | Virtual tourist telescope | |
JP2003134426A (ja) | 情報記憶モジュール、及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20749788 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020568648 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20749788 Country of ref document: EP Kind code of ref document: A1 |