WO2015037607A1 - 携帯端末および画像検索方法 - Google Patents

携帯端末および画像検索方法 Download PDF

Info

Publication number
WO2015037607A1
WO2015037607A1 PCT/JP2014/073901 JP2014073901W WO2015037607A1 WO 2015037607 A1 WO2015037607 A1 WO 2015037607A1 JP 2014073901 W JP2014073901 W JP 2014073901W WO 2015037607 A1 WO2015037607 A1 WO 2015037607A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
image
unit
target image
search target
Prior art date
Application number
PCT/JP2014/073901
Other languages
English (en)
French (fr)
Inventor
神田　敦彦
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2015037607A1 publication Critical patent/WO2015037607A1/ja
Priority to US15/068,406 priority Critical patent/US20160196284A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Definitions

  • the present invention relates to a mobile terminal and an image search method, and more particularly to a mobile terminal having a camera module and an image search method.
  • a new portable terminal and image search method are desired.
  • a portable terminal and an image search method that can easily perform image search are desired.
  • One aspect of the first invention is a mobile terminal having a camera module and a display unit, the detection unit detecting a relative positional relationship between subjects from an image acquired from the camera module, based on the relative positional relationship,
  • a portable terminal includes an extraction unit that extracts a search target image from an image, a search unit that searches for predetermined information based on the search target image, and an output unit that outputs a search result searched by the search unit.
  • the camera module (50-54) of the mobile terminal (10: reference numeral exemplifying a corresponding part in the embodiment; the same applies hereinafter) outputs an image.
  • the image is acquired, and a preview image based on the acquired image is displayed on the display unit (14).
  • the detection unit (30, S19) detects the relative positional relationship between the subjects from the image acquired from the camera module.
  • the extraction unit (30, S23, S95, S97) extracts a search target image from the acquired image based on the detected relative positional relationship, for example, so as to include the subject selected by the user.
  • the search unit (30, S31) searches for predetermined information related to the search target image, for example, based on the search target image.
  • An output part (30, S63) outputs a search result, for example to a display part, and a search result is displayed on a display part.
  • the search target image can be appropriately extracted by using the relative positional relationship between the subjects, so that the search accuracy of the image search can be improved.
  • One aspect of the second invention is an image search method in a mobile terminal (10) having a camera module (50-54) and a display unit (14), wherein the processor (30) of the mobile terminal is connected to the camera module.
  • a search step (S31) for searching for predetermined information and an output step (S63) for outputting a search result searched for by the search step are executed.
  • the search target image can be appropriately extracted by using the relative positional relationship between the subjects, so that the search accuracy of the image search is improved. I can do it.
  • FIG. 1 is an external view showing an example of the appearance of a mobile phone according to an embodiment of the present invention.
  • FIG. 1 (A) shows the appearance of the front surface of the mobile phone
  • FIG. 1 (B) shows the appearance of the back surface of the mobile phone.
  • FIG. 2 is an illustrative view showing an electrical configuration of the mobile phone shown in FIG.
  • FIG. 3 is an illustrative view showing one example of a state in which a preview image is displayed on the display shown in FIG.
  • FIG. 4 is an illustrative view showing an example of a procedure for performing AF processing on the preview image shown in FIG. 3, and
  • FIG. 4 (A) shows an example of a state in which a touch operation is performed on the preview image.
  • FIG. 5 is an illustrative view showing one example of divided regions set for the preview image displayed on the display shown in FIG.
  • FIG. 7A shows an example of a state where a tap operation is performed on a search key.
  • FIG. 7B shows an example of the state switched to the search mode.
  • FIG. 5 is an illustrative view showing one example of divided regions set for the preview image displayed on the display shown in FIG.
  • FIG. 7A shows an example of
  • FIG. 8 is an illustrative view showing one example of a flow of processing for extracting a search target image from the preview image displayed on the display shown in FIG. 1, and FIG. 8A is a tap operation at an arbitrary position.
  • FIG. 8B shows an example of the state
  • FIG. 8B shows an example of the state in which the relative positional relationship is detected and the subject that has been tapped is focused
  • FIG. 8C shows the extraction range.
  • An example of the state is shown.
  • FIG. 9 is an illustrative view showing an example of an operation for performing an image search using the search target image displayed on the display shown in FIG. 1, and
  • FIG. 9 (A) shows an example of a touch operation for performing an image search.
  • 9B shows an example of a state where the search result is displayed.
  • FIG. 10 is an illustrative view showing one example of a state in which a preview image in a search mode of another embodiment is displayed on the display shown in FIG.
  • FIG. 11 is an illustrative view showing one example of a memory map of the RAM shown in FIG.
  • FIG. 12 is a flowchart showing an example of a part of the camera function processing of the processor shown in FIG.
  • FIG. 13 is an example of another part of the camera function processing of the processor shown in FIG. 2, and is a flowchart subsequent to FIG.
  • FIG. 14 is a flowchart showing an example of image search processing of the processor shown in FIG.
  • FIG. 15 is an illustrative view showing another example of the flow of processing for extracting a search target image from the preview image displayed on the display shown in FIG. 1, and FIG.
  • FIG. 15 (A) is a tap operation at an arbitrary position.
  • FIG. 15B shows an example of a state in which the relative positional relationship is detected and the subject that has been tapped is focused.
  • FIG. 15C shows an example of the extraction range.
  • An example of the set state is shown
  • FIG. 15D shows an example of a state where the search target image is extracted from the extraction range
  • FIG. 15E shows a state where the extracted search target image is displayed.
  • An example is shown.
  • 16 is an illustrative view showing one example of an operation for changing the search target image in the preview image shown in FIG. 15, and
  • FIG. 16A is an example of a touch operation for extracting another search target image.
  • 16 (B) shows an example of a state in which other search target images are extracted.
  • FIG. 17 is an illustrative view showing an example of an operation for canceling extraction of a search target image in the preview image shown in FIG. 15, and FIG. 17A shows an example of a state in which a touch operation is performed on the search target image.
  • FIG. 17B shows an example of a state where the extraction of the search target image is canceled.
  • 18 is an illustrative view showing another example of the flow of processing for extracting a search target image from the preview image displayed on the display shown in FIG. 1, and FIG. 18 (A) shows a tap operation on a human face.
  • FIG. 18B shows an example of a state where a detected human face is extracted as a search target image and a touch operation for performing a search is performed.
  • C) shows an example of a state where search results are displayed.
  • FIG. 19 is an illustrative view showing an example of an operation for switching the search result shown in FIG. 18 to another search result, and FIG. 19A shows an example of a state in which a touch operation is performed on the cursor. (B) shows an example of a state in which other search results are displayed.
  • FIG. 20 is a flowchart showing an example of part of the camera function processing of the second embodiment of the processor shown in FIG.
  • a mobile phone 10 is a smartphone as an example, and includes a vertically long flat rectangular housing 12.
  • the present invention can be applied to any portable terminal such as a digital camera, a tablet terminal, a tablet PC, a notebook PC, and a PDA.
  • the main surface (front surface) of the housing 12 is provided with a display 14 such as a liquid crystal or an organic EL, which is also called a display unit.
  • a touch panel 16 is provided on the display 14.
  • a speaker 18 is built in the main surface side of one end of the housing 12 in the vertical direction, and a microphone 20 is built in the main surface side of the other end in the vertical direction.
  • the main surface of the housing 12 is provided with a call key 22a, an end key 22b, and a menu key 22c as hard keys constituting input operation means together with the touch panel 16 in this embodiment.
  • a lens opening 24 leading to the lens 54 of the camera module and the like is provided on the other surface (back surface) of the housing 12.
  • the user can input a telephone number by touching the dial pad displayed on the display 14 with the touch panel 16, and can start a voice call by operating the call key 22a. If the end call key 22b is operated, the voice call can be ended. The user can turn on / off the power of the mobile phone 10 by pressing and holding the end call key 22b.
  • the home screen is displayed on the display 14.
  • the user can select an object by touching the object or the like displayed on the display 14 in that state with the touch panel 16 and confirm the selection.
  • a preview image (through image) corresponding to the object scene is displayed on the display 14. Then, the user can take an image by performing an imaging operation with the other surface provided with the lens opening 24 directed to an arbitrary subject.
  • the mobile phone 10 can execute a mail function and a browser function in addition to the telephone function.
  • GUIs such as keys and icons displayed on the display 14 may be collectively referred to as objects.
  • the mobile phone 10 of the embodiment shown in FIG. 1 includes a processor 30 called a computer or a CPU.
  • a wireless communication circuit 32, an A / D converter 36, a D / A converter 38, an input device 40, a display driver 42, a flash memory 44, a RAM 46, a touch panel control circuit 48, a camera control circuit 50, and the like are connected to the processor 30. Is done.
  • the processor 30 manages the overall control of the mobile phone 10. All or part of the program preset in the flash memory 44 is expanded in the RAM 46 when used, and the processor 30 operates according to the program on the RAM 46.
  • the RAM 46 is further used as a working area or a buffer area of the processor 30.
  • the input device 40 includes the hard key 22 shown in FIG. Therefore, an operation receiving unit that receives a key operation from the user with respect to the hard key 22 is configured. Information on the hard key operated by the user (key data) is input to the processor 30.
  • the wireless communication circuit 32 is a circuit for transmitting and receiving radio waves for voice calls and mails through the antenna 34.
  • the wireless communication circuit 32 is a circuit for performing wireless communication by the CDMA method. For example, when the user operates the touch panel 16 to instruct a call (voice transmission), the wireless communication circuit 32 executes a voice transmission process under the instruction of the processor 30 and outputs a voice transmission signal via the antenna 34. To do. The voice transmission signal is transmitted to the other party's telephone through the base station and the communication network. When a voice incoming call process is performed at the other party's telephone, a communicable state is established and the processor 30 executes a call process.
  • the wireless communication circuit 32 is wirelessly connected to the network (communication network, telephone network) 100 via the antenna 34.
  • the data server 102 is connected to the network 100 by wire or wireless. Therefore, the mobile phone 10 can establish communication with the data server 102 via the network 100.
  • the microphone 20 shown in FIG. 1 is connected to the A / D converter 36, and the audio signal from the microphone 20 is converted into digital audio data by the A / D converter 36 and input to the processor 30 as described above.
  • the speaker 18 is connected to the D / A converter 38.
  • the D / A converter 38 converts digital audio data into an audio signal and supplies the audio signal to the speaker 18 through an amplifier. Therefore, sound based on the sound data is output from the speaker 18.
  • the sound collected by the microphone 20 is transmitted to the other party's telephone, and the sound collected by the other party's telephone is output from the speaker 18.
  • the processor 30 adjusts the volume of the sound output from the speaker 18 by controlling the amplification factor of the amplifier connected to the D / A converter 38, for example, in response to a volume adjustment operation by the user. I can do it.
  • the display driver 42 includes a video memory that temporarily stores image data to be displayed, and data output from the processor 30 is stored in the video memory.
  • the display driver 42 displays an image on the display 14 according to the contents of the video memory. That is, the display driver 42 controls display on the display 14 connected to the display driver 42 under the instruction of the processor 30. Therefore, the processor 30 is sometimes called a display control unit.
  • the display 14 is provided with a backlight, and the display driver 42 controls the brightness of the backlight and lighting / extinguishing in accordance with instructions from the processor 30.
  • the touch panel 16 is connected to the touch panel control circuit 48.
  • the touch panel control circuit 48 applies necessary voltage and the like to the touch panel 16 and also displays a touch start signal indicating the start of touch by the user on the touch panel 16, an end signal indicating the end of touch by the user, and a touch position touched by the user.
  • the indicated coordinate data is input to the processor 30. Therefore, the processor 30 can determine which object the user has touched based on the coordinate data.
  • the touch panel 16 is a capacitive touch panel that detects a change in electrostatic capacitance that occurs between the surface of the touch panel 16 and an object such as a finger (hereinafter referred to as a finger for convenience).
  • the touch panel 16 detects that one or more fingers touched the touch panel 16, for example. Therefore, the touch panel 16 is also called a pointing device.
  • the touch panel control circuit 48 detects a touch operation within the effective touch range of the touch panel 16 and outputs coordinate data indicating the position of the touch operation to the processor 30. That is, the user inputs an operation position, an operation direction, and the like to the mobile phone 10 by performing a touch operation on the surface of the touch panel 16.
  • the touch operation of this embodiment includes a tap operation, a long tap operation, a flick operation, a slide operation, and the like.
  • the tap operation is an operation of releasing (releasing) the finger from the surface of the touch panel 16 in a short time after the finger touches (touches) the surface of the touch panel 16.
  • the long tap operation is an operation in which the finger is kept in contact with the surface of the touch panel 16 for a predetermined time or longer and then the finger is released from the surface of the touch panel 16.
  • the flick operation is an operation of bringing a finger into contact with the surface of the touch panel 16 and flipping the finger in an arbitrary direction at a predetermined speed or higher.
  • the slide operation is an operation of moving the finger in any direction while keeping the finger in contact with the surface of the touch panel 16 and then releasing the finger from the surface of the touch panel 16.
  • the above slide operation includes a so-called drag operation in which a finger touches an object displayed on the surface of the display 14 and moves the object.
  • a drop operation an operation of releasing a finger from the surface of the touch panel 16 after the drag operation is referred to as a drop operation.
  • a tap operation a long tap operation, a flick operation, a slide operation, a drag operation, and a drop operation may be described by omitting “operation”.
  • the touch operation is not limited to the user's finger, and may be performed with a stylus pen or the like.
  • the camera control circuit 50 is connected to a motor (not shown) for adjusting the lens positions of the image sensor 52 and the lens 54.
  • the camera control circuit 50 is a circuit for taking a still image or a moving image with the mobile phone 10. For example, when an operation for executing a camera function is performed, the processor 30 activates the camera control circuit 50 to execute the camera function.
  • the camera control circuit 50, the image sensor 52, and the lens 54 are collectively referred to as a camera module or a photographing unit.
  • an optical image of a subject is irradiated to the image sensor 52, and a light receiving element corresponding to, for example, SXGA (1280 ⁇ 1024 pixels) is arranged in the imaging area of the image sensor 52. In the imaging area, photoelectric conversion is performed. A charge corresponding to the optical image of the subject, that is, a raw image signal of SXGA is generated. Note that the user can change the size of the image data to XGA (1024 ⁇ 768 pixels), VGA (640 ⁇ 480 pixels), etc. in addition to SXGA.
  • the processor 30 activates an image sensor driver built in the camera control circuit 50 to display a real-time moving image of the subject, that is, a preview image, on the display 14, and performs an exposure operation and designated reading.
  • the image sensor driver is instructed to perform a charge readout operation corresponding to the region.
  • the image sensor driver performs exposure of the imaging surface of the image sensor 52 and reading of the charges generated by the exposure. As a result, a raw image signal is output from the image sensor 52.
  • the output raw image signal is input to the camera control circuit 50.
  • the camera control circuit 50 performs processes such as color separation, white balance adjustment, and YUV conversion on the input raw image signal, and outputs the YUV format. Generate image data. Then, the YUV format image data is input to the processor 30.
  • the camera control circuit 50 calculates a focus evaluation value from the raw image signal, and outputs the focus evaluation value to the processor 30.
  • the processor 30 executes an AF (autofocus) process based on the focus evaluation value output from the camera control circuit 50.
  • the camera control circuit 50 adjusts the focal length f of the lens 54 under the instruction of the processor 30. As a result, a through image in which the subject is in focus is displayed on the display 14.
  • the YUV format image data input to the processor 30 is stored (temporarily stored) in the RAM 46 by the processor 30. Further, the stored image data in the YUV format is converted into RGB data by the processor 30 and then given from the RAM 46 to the display driver 42. Then, RGB format image data is output to the display 14. As a result, a preview image with a low resolution (eg, 320 ⁇ 240 pixels) representing the subject is displayed on the display 14.
  • a low resolution eg, 320 ⁇ 240 pixels
  • the processor 30 executes a still image main shooting process. That is, the processor 30 performs signal processing on the raw SXGA image signal output from the image sensor 52, temporarily stores it in the RAM 46, and executes storage processing for the flash memory 44.
  • the captured image data is read from the RAM 46 through the processor 30.
  • the processor 30 associates the meta information with the read captured image data and stores it in the flash memory 44 as one file. Furthermore, the processor 30 outputs a sound notifying that the main photographing process is being executed from a speaker (not shown).
  • the captured image data may be stored in the memory card.
  • Meta information associated with the captured image data is stored in the Exif format.
  • the processor 30 executes a main shooting process for moving images.
  • the processor 30 issues an instruction to the camera control circuit 50 to output a VGA raw image signal at a predetermined frame rate.
  • the processor 30 stores the moving image data in the flash memory 44 after performing a plurality of processes on each raw image signal read at a predetermined frame rate, as in the still image main photographing process.
  • the flash memory 44 stores address book data.
  • the address book data and captured image data stored in the flash memory 44 may be collectively referred to as a database.
  • FIG. 3 is an illustrative view showing an example of a state in which a preview image is displayed on the display 14.
  • the display range of the display 14 includes a status display area 60 and a function display area 62.
  • a pictograph indicating the radio wave reception status by the antenna 34 a pictograph indicating the remaining battery capacity of the secondary battery, and a time are displayed.
  • a camera screen is displayed.
  • a preview image based on the output of the camera module is displayed on the camera screen, a zoom slider and a menu key are displayed on the left side of the camera screen, and a shutter key, a browse key, and a search key are displayed on the right side of the camera screen. Is done.
  • the angle of view changes due to digital zoom processing or optical zoom processing.
  • a GUI for changing settings such as white balance and exposure compensation is displayed.
  • a tap operation is performed on the shutter key, the above-described main photographing process is executed.
  • a tap operation is performed on the browsing key, a browsing function that enables browsing of the captured image data stored in the flash memory 44 is executed.
  • the search mode is set. Since the search mode will be described later, a detailed description thereof is omitted here.
  • AF processing is executed so that the tapped subject is in focus. For example, in FIG. 3, it is in a state of being in focus with respect to the flower bed in front, but as shown in FIG. AF processing is executed. As a result, as shown in FIG. 4B, a preview image in a state where the automobile is in focus is displayed on the display 14.
  • the relative positional relationship between the subjects is detected, and the detected relative positional relationship is stored as meta information.
  • nine divided regions R1-R9 are set for the preview image.
  • the focal length f of the lens 54 is changed from the wide end to the tele end, and each focus evaluation value of each divided region R when the focal length f changes is calculated. Further, the focal length f when the focus evaluation value reaches the maximum value is specified, and the specified focal length f1-f9 is associated with each of the divided regions R1-R9, and the relative positional relationship shown in FIG. Stored in a table.
  • the relative positional relationship table in which the focal lengths f1-f9 are stored in this way is stored as a part of the meta information of the captured image data.
  • the focal lengths f corresponding to the divided regions R including the subjects are different.
  • the focal lengths f corresponding to the divided regions R including the respective subjects have substantially the same value. That is, when the focal length f5 of the divided area R5 and the focal length f6 of the divided area R6 are compared, the subject included in the divided area R5 and the subject included in the divided area R6 are different from the cellular phone 10 if they are different. It exists in a different position (distance).
  • the focal lengths f of the two divided regions R are substantially the same, it can be seen that the subjects included in the respective divided regions R exist at substantially the same position (distance) from the mobile phone 10. That is, by storing the focal length f when the focus evaluation value is maximized for a plurality of divided regions R, the relative positional relationship between the subjects can be detected. As described above, since the relative positional relationship can be detected by using the focal length f of the lens 54, the relative position between subjects can be obtained by updating or adding software to an existing portable terminal including a camera module. The relationship can be detected.
  • the range in which the focal length f is determined to be substantially the same value is 0.0-0.2 mm. However, in another embodiment, it may be set narrower than the above range or may be set wider.
  • the number of divided regions R is nine, but in other embodiments, the number may be more or less. Moreover, all the sizes of the divided regions R may be the same, or all or some of the sizes may be different.
  • the search mode when a tap operation is performed on the search key, the mode is changed to the search mode.
  • the search mode the color of the search key is reversed and the display of the zoom slider and the menu key is deleted.
  • a search result for a search image can be obtained from a database stored in the data server 102 or the flash memory 44 using the image by image search.
  • the shooting mode is restored. Since the image search algorithm and the like are widely general techniques, a detailed description thereof will be omitted.
  • the focal length f of each divided region R is stored in the relative position relationship table and touched. AF processing is executed based on the position. Then, based on the relative positional relationship table in which the focal length f is stored, the divided region R including the subject existing at substantially the same position as the subject included in the tapped divided region R is specified. That is, the divided region R associated with the focal length f having substantially the same value as the focal length f of the tapped divided region R is specified.
  • the divided area R5 and the divided area R8 are set as one extraction range, and an image within the extraction range is extracted as a search target image.
  • the search target image is extracted, the color of the preview image outside the extraction range is changed to gray scale.
  • an image search process is executed to obtain a search result based on the search target image.
  • information related to the search target image is searched from databases stored in the data server 102 and the flash memory 44.
  • the search target image includes a flower as a subject, and information such as the name and characteristics of the flower is obtained as a search result from the database of the data server 102.
  • a search result popup P including the obtained search result is displayed in association with the search target image.
  • search result pop-up P shown in FIG. 9B
  • search result pop-up P text is displayed in the search result pop-up P shown in FIG. 9B
  • the image is also displayed in the search result pop-up P.
  • the obtained search result is enlarged and displayed in the function display area 62.
  • the search result is erased and the extraction range setting is canceled, and the search target can be arbitrarily selected as shown in FIG. 7B.
  • the search results displayed in the search result popup are switched by the switching operation.
  • the search target image can be appropriately extracted by using the relative positional relationship between the subjects. Therefore, the search accuracy of the image search can be improved.
  • the user can perform an image search for a subject that is interested during shooting. In particular, the user can easily perform an image search by specifying a search target by an intuitive operation on the touch panel 16.
  • the displayed search target image is often not a rectangle.
  • the image used for the search needs to be rectangular. Therefore, in this embodiment, when a search target image is extracted, a rectangle having the smallest area that can surround the search target image is defined, and the search target image is pasted in the rectangle, thereby performing image search. Process to a state where it can be done. In the search target image processed in this way, a portion where the original search target image is not drawn is colored with a predetermined color (for example, white) or colorless and transparent.
  • a predetermined color for example, white
  • the search target image may be extracted by the guide ring G displayed on the camera screen instead of extracting the search target image by a touch operation.
  • guide ring G is displayed on the camera screen.
  • the search target image is extracted based on the position of the guide ring G. That is, when the shutter key is operated in the state of FIG. 10, the relative positional relationship between the subjects is detected and the extraction range is set, as in the case where the flower included in the divided region R5 is touched. Then, a search target image is extracted from the extraction range, and an image search process is executed.
  • the user in a state where the guide ring G is displayed, the user can extract the search target image without performing a touch operation. Therefore, when the shutter key is not a software key but a hardware key, an image search can be performed without using the touch panel 16. Therefore, this embodiment can be applied even to a portable terminal such as a digital camera that does not have the touch panel 16.
  • program storage area 302 and data storage area 304 are formed in RAM 46.
  • the program storage area 302 is an area for reading and storing (developing) part or all of the program data set in advance in the flash memory 44 (FIG. 2).
  • the program storage area 302 stores a camera function program 310 for executing a camera function, an image search program 312 for performing an image search, and the like.
  • the program storage area 302 also stores programs for executing functions such as a mail function and a browser function.
  • a touch buffer 330 in the data storage area 304 of the RAM 46, a touch buffer 330, a preview image buffer 332, a relative positional relationship buffer 334, a search target image buffer 336, a search result buffer 338, and the like are provided.
  • a touch coordinate map 340 is stored, and a touch flag 342 is also provided.
  • the touch buffer 330 temporarily stores touch coordinate data output from the touch panel control circuit 48, touch coordinate data at the start and end points of the touch operation, and the like.
  • the preview image buffer 332 temporarily stores an image output from the camera module. When the camera function is executed, a preview image is displayed based on the image stored in the preview image buffer 332.
  • the relative positional relationship buffer 334 temporarily stores a relative positional relationship table when the relative positional relationship is detected.
  • the search target image buffer 336 temporarily stores the extracted search target image.
  • the search result buffer 338 temporarily stores a search result based on the search target image.
  • the touch coordinate map 340 is data for associating the touch coordinates in the touch operation with the display coordinates on the display 14. That is, the result of the touch operation performed on the touch panel 16 is reflected on the display 14 based on the touch coordinate map 340.
  • the touch flag 342 is a flag for determining whether or not the touch panel 16 is touched.
  • the touch flag 342 is composed of a 1-bit register. When the touch flag 342 is turned on (established), a data value “1” is set in the register. On the other hand, when the touch flag 342 is turned off (not established), a data value “0” is set in the register.
  • the touch flag 342 is switched on / off based on the output of the touch panel control circuit 48.
  • data for displaying an object such as a GUI is stored, and other flags and timers (counters) necessary for program execution are provided.
  • the processor 30 is shown in FIG. 12 and FIG. 13 under the control of other OS such as Windows (registered trademark) -based OS and Linux (registered trademark) -based OS such as Android (registered trademark) and iOS (registered trademark).
  • OS such as Windows (registered trademark) -based OS and Linux (registered trademark) -based OS such as Android (registered trademark) and iOS (registered trademark).
  • a plurality of tasks including a camera function process shown in FIG. 14 and an image search process shown in FIG. 14 are processed in parallel.
  • FIG. 12 is a part of a flowchart of camera function processing.
  • the camera function process is started, for example, when an operation for executing the camera function is performed.
  • the processor 30 displays a preview image.
  • the processor 30 operates the camera control circuit 50 and reads a preview image based on the output of the camera control circuit 50 from the preview image buffer 332. Then, the read preview image is displayed on the display 14.
  • step S3 it is determined whether or not a touch operation has been performed. That is, it is determined whether the touch flag 342 is on. If “NO” in the step S3, that is, if the touch operation is not performed, the processor 30 repeats the process of the step S3. If “YES” in the step S3, for example, when a tap operation is performed by the user, the processor 30 determines whether or not the search key is tapped in a step S5. That is, it is determined whether a touch operation for setting the search mode has been performed.
  • step S7 determines whether or not the process is ended in a step S7. That is, it is determined whether a touch operation for ending the camera function has been performed. If “YES” in the step S7, that is, if a touch operation for ending the camera function is performed, the processor 30 ends the camera function process. On the other hand, if “NO” in the step S7, that is, if a touch operation for ending the camera function is not performed, the processor 30 executes a process based on the touch position in a step S9. For example, when a tap operation is performed at an arbitrary position on the preview image, AF processing is executed. In addition, when a tap operation is performed on the shutter key, the main photographing process is executed. Then, when the process of step S9 ends, the processor 30 returns to the process of step S3.
  • the search mode is set in a step S11. For example, when the search mode is set, the camera screen shown in FIG. 7 is displayed.
  • step S13 the processor 30 determines whether or not an extraction operation has been performed. For example, it is determined whether a tap operation on the preview image is accepted as the extraction operation.
  • the processor 30 that executes the process of step S13 functions as a first receiving unit. If “NO” in the step S13, that is, if the extraction operation is not performed, the processor 30 determines whether or not the search key is tapped in a step S15. That is, it is determined whether an operation for changing to the shooting mode has been performed. If “YES” in the step S15, that is, if the search key is tapped, the processor 30 releases the search mode in a step S17. For example, the camera screen shown in FIG. 3 is displayed again. Then, when the process of step S17 ends, the processor 30 returns to the process of step S3.
  • the processor 30 If “NO” in the step S15, that is, if the search key is not tapped, the processor 30 returns to the process in the step S13. Further, if “YES” in the step S13, that is, if an extraction operation of tapping the preview image is performed, the processor 30 detects a relative positional relationship in a step S19. That is, the processor 30 issues a command to drive the lens 54 to the camera module (camera control circuit 50), and stores the focal length f when the focus evaluation value is maximized in each divided region R in the relative positional relationship table. . When the relative positional relationship table is stored in the relative positional relationship buffer 334, the camera module moves the lens 54 so that the focus evaluation value of the touched divided region R becomes the maximum value.
  • step S21 the processor 30 sets an extraction range. That is, based on the relative positional relationship table, the divided region R associated with the substantially same focal length f as the divided region R on which the touch operation is performed is specified, and the specified divided region R is set as the extraction range.
  • step S23 the processor 30 extracts a search target image. That is, image data of an image included in the set extraction range is extracted, and the extracted image data is stored in the search target image buffer 336. When the search target image is extracted, the color of the preview image outside the extraction range is set to gray scale.
  • the processor 30 that executes the process of step S19 functions as a detection unit
  • the processor 30 that executes the process of step S21 functions as a setting unit
  • the processor 30 that executes the process of step S23 functions as an extraction unit.
  • step S25 the processor 30 determines whether or not it is a change operation. That is, it is determined whether a tap operation for a preview image outside the extraction range is accepted. If “YES” in the step S25, that is, if a changing operation is performed, the processor 30 returns to the process of the step S19. On the other hand, if “NO” in the step S25, that is, if the changing operation is not performed, the processor 30 determines whether or not the releasing operation is performed in a step S27. That is, the processor 30 determines whether a tap operation for the extraction range has been accepted. If “YES” in the step S27, that is, if a canceling operation is performed, the processor 30 returns to the process of the step S13.
  • the processor 30 determines whether or not the searching operation is performed in a step S29. That is, it is determined whether a tap operation on the shutter key is accepted. If “NO” in the step S29, that is, if the search operation is not performed, the processor 30 returns to the process of the step S25. On the other hand, if “YES” in the step S29, that is, if a search operation is performed, the processor 30 executes an image search process in a step S31. The details of this image search process will be described later, and a detailed description thereof will be omitted here.
  • step S31 if the process of step S31 is complete
  • the processor 30 that executes the process of step S25 functions as a second reception unit
  • the processor 30 that executes the process of step S31 functions as a search unit.
  • FIG. 14 is a flowchart of the image search process.
  • the image search process is started.
  • the processor 30 searches for a search target image from the data server 102. That is, after establishing data communication with the data server 102, the search target image is transmitted to the data server 102 and an image search based on the search target image data is requested to the data server 102.
  • the processor 30 determines whether or not the search result has been acquired. That is, it is determined whether a search result for the search target image has been received from the data server 102.
  • step S53 determines whether the information related to the search target image is stored in the data server 102 and the search result cannot be acquired from the data server 102. If “NO” in the step S53, that is, if the information related to the search target image is not stored in the data server 102 and the search result cannot be acquired from the data server 102, the processor 30 executes the step S57. Proceed to the process. If “YES” in the step S53, that is, if the search result can be acquired from the data server 102, the processor 30 stores the search result in a step S55. That is, the search result received from the data server 102 is stored in the search result buffer 338.
  • step S57 the processor 30 searches the flash memory 44 for a search target image. For example, information related to the search target image is searched from a database including a plurality of photographed images and address book data stored in the flash memory 44.
  • step S59 the processor 30 determines whether or not the search result has been acquired. That is, it is determined whether information related to the search target image is stored in the flash memory 44. If “NO” in the step S59, that is, if information related to the search target image is not stored in the flash memory 44, the processor 30 proceeds to a process in step S63.
  • the processor 30 stores the search result in a step S61. For example, when address data is obtained as a search result for the search target image, the address data is stored in the search result buffer 338.
  • step S63 the processor 30 displays the search result. That is, the search result popup P including the contents stored in the search result buffer 338 is displayed on the display 14. However, if the search result is not stored in the search result buffer 338, a character string such as “Could not get search result” is displayed in the search result pop-up P, and the search result is displayed. It is notified that it was not obtained.
  • the processor 30 that executes the process of step S63 functions as an output unit.
  • step S65 the processor 30 determines whether or not there are a plurality of search results. That is, it is determined whether a plurality of search results are stored in the search result buffer 338. If “YES” in the step S65, that is, if there are a plurality of search results, the processor 30 determines whether or not a switching operation is performed in a step S67. For example, it is determined whether a touch operation for switching search results has been accepted. If “NO” in the step S67, that is, if the switching operation is not performed, the processor 30 proceeds to the process of step S71.
  • step S67 if “YES” in the step S67, that is, if a switching operation is performed, the processor 30 switches the display of the search result in a step S69. That is, other search results are displayed in the search result pop-up P. Then, when the process of step S69 ends, the processor 30 returns to the process of step S65. Note that the processor 30 that executes the process of step S67 functions as a third reception unit, and the processor 30 that executes the process of step S69 functions as a switching unit.
  • step S65 determines whether or not the process is ended in a step S71. That is, it is determined whether an operation for ending (erasing) the display of the search result pop-up P has been performed. If “NO” in the step S71, that is, if the operation for deleting the display of the search result pop-up P is not performed, the processor 30 returns to the process of the step S65. On the other hand, if “YES” in the step S71, that is, if an operation for deleting the display of the search result pop-up P is performed, the processor 30 deletes the display of the search result in a step S73. That is, the display of the search result pop-up P is deleted. Then, when the process of step S73 ends, the processor 30 ends the image search process and returns to the camera function process.
  • the search target image is more appropriately extracted by performing image processing such as region selection based on color information and face detection processing. Since the mobile phone 10 of the second embodiment is substantially the same as the first embodiment, description of the appearance and the electrical configuration is omitted.
  • FIGS. 15A to 15C when a tap operation is performed at a position indicating an arbitrary subject (for example, a flower) in the search mode, an extraction range is set as in the first embodiment.
  • FIG. 15D when the extraction range is set, an area having color information substantially the same as the color information of the touch position is selected.
  • the search target image is extracted from the area selected in this way. For example, as shown in FIG. 15E, when a part of “flower” is extracted as a search target image, the color of the preview image other than the extracted part (indicated by a bold line in the drawing) is made grayscale. .
  • the search target intended by the user can be extracted more appropriately.
  • FIGS. 16A and 16B when the search target image is extracted and a touch operation is performed at a position indicating another subject, the relative positional relationship is detected again, and the search target image is detected. Is re-extracted. At approximately the same time, AF processing is performed so that the subject included in the newly touched divided area R is in focus. For example, when a tap operation is performed on a flower in the back, the focus is on the flower in the back and a part of the tapped flower is extracted as a search target image. .
  • the selection of the search target is canceled and the color of the preview image is not grayscale. That is, the camera screen returns to the state before the search target is extracted. Thus, even if the user selects the search target image by mistake, the user can cancel the selection. If the selection target image is deselected and then touched in the same divided region R, the search target image is extracted by changing the extraction condition such as the threshold when selecting the region based on the color information.
  • FIGS. 18A to 18C when a tap operation is performed on a preview image, an extraction range is set as in the first embodiment. Then, face detection processing is executed for the set extraction range, and if a face is detected, the detected face is extracted as a search target image. Then, when the shutter key is operated with the search target image extracted, an image search process is executed, and a search result pop-up P is displayed on the display 14. As described above, by using the face detection process, the search target intended by the user can be more appropriately extracted.
  • FIG. 18C when the cursor C is included in the search result pop-up P, it is indicated that a plurality of search results have been acquired.
  • FIGS. 19A and 19B when a tap operation is performed on cursor C, the search result displayed in search result pop-up P is switched. That is, when a plurality of search results are acquired, the user can check each of the plurality of search results.
  • a tap operation may be performed on the cursor C displayed on the left side.
  • a cursor C for displaying the next search result is displayed on the right side of the search result pop-up P.
  • the search result shown in FIG. 19A is obtained from the data server 102.
  • the human face is searched from the database of the data server 102.
  • the URL of the SNS page (HP) to which a photograph showing the human face is uploaded may be acquired as a search result. Therefore, in the search result shown in FIG. 19A, the name and URL of the SNS page (HP) are displayed as the search result. In this way, the user can perform an image search on a database stored on the data server 102.
  • search sites such as (Registered Trademark) and Google (Registered Trademark) may be used.
  • search result When the search result is acquired by the search site, the search result shown at the top is displayed in the search result pop-up P.
  • the search may be set to be performed at a search site that supports semantic search.
  • the search result shown in FIG. 19B is obtained from the flash memory 44.
  • the address data is also a search target.
  • the search result shown in FIG. 19B the name, mail address, and registered image included in the address data are displayed as the search result. That is, an image search can be performed on the database stored in the flash memory 44 of the mobile phone 10.
  • FIG. 21 is a flowchart showing a part of the camera function processing of the second embodiment.
  • the processes in steps S1-S21 and steps S25-S31 are substantially the same, and a detailed description thereof will be omitted.
  • the processor 30 executes the processes of steps S1-S21.
  • the processor 30 executes a face detection process in step S91. That is, in order to determine whether a face is included in the extraction range, face detection processing is performed on the extraction range.
  • the processor 30 determines whether or not a face is detected. That is, it is determined whether a face is detected in the extraction range and the touch position is included in the detected face.
  • the processor 30 extracts a search target image based on the color information of the touch position in a step S95. For example, when a tap operation is performed as shown in FIG. 15A, an area is selected based on the color of the tapped flower. Then, a search target image is extracted from the selected area. Even if a face is detected, if the touch position is not included in the face, “NO” is determined in the step S93.
  • a search target image is extracted based on the detected face. For example, when a tap operation is performed on a human face as shown in FIG. 18A, the face is detected, and thus the detected face is extracted as a search target image.
  • the search target image extracted in the process of step S95 or step S97 is stored in the search target image buffer 336.
  • the processor 30 proceeds to the process of step S25.
  • the processor 30 that executes the process of step S95 or step 97 functions as an extraction unit.
  • an image search may be performed by extracting a search target image from a captured image stored in the flash memory 44. For example, when a browsing function is executed and a list of photographed images stored in the flash memory 44 is displayed as a thumbnail, when any photographed image is selected, photographed image data and corresponding metadata are read out. In this state, when a tap operation is performed on an arbitrary subject appearing in the captured image, an extraction range is set based on the relative positional relationship table included in the metadata, and the search target image is extracted. When the search target image is extracted, the image search is performed as described above, and the search result is displayed.
  • the lens 54 may be composed of a plurality of zoom lenses and a plurality of focus lenses. In this case, it is possible to focus by changing the lens position of the focusing lens without changing the focal length f. In such a case, the relative position relationship table may store the focus lens position instead of the focal length f.
  • the distance to the subject may be stored in the relative positional relationship table instead of the focal length f described above.
  • a plurality of search target images are extracted by performing a multi-touch operation on a plurality of subjects.
  • a subject existing between the foreground subject and the deepest subject in the selected search target image is also extracted as the search target image.
  • all of the plurality of extraction ranges included in the focal length range determined based on the plurality of extraction ranges are selected. For example, when a subject having a depth is photographed, if a portion in front of the subject is tapped, only the portion in front of the subject is extracted as a search target image. Therefore, if a multi-touch operation is performed at two locations, the front portion and the back portion, the entire subject can be extracted together as a search target image. Therefore, in another embodiment, the operation when the user extracts the search target image is simplified.
  • a search target image may be extracted from the arbitrary area.
  • the database stored in the flash memory 44 may include data other than address book data and captured images.
  • the entire preview image may be extracted as the search target image, and the image search process may be executed.
  • the mobile phone 10 when the mobile phone 10 can display a TV broadcast, an arbitrary scene may be captured, and a search target image may be extracted from the captured image to perform an image search.
  • the search result is displayed on the display 14.
  • the sound may be output from the speaker 18 by voice, or may be transferred to another terminal or a PC. Alternatively, it may be output (including display) from the PC.
  • the program used in this embodiment may be stored in the HDD of the data distribution server and distributed to the mobile phone 10 via the network.
  • the storage medium may be sold or distributed in a state where a plurality of programs are stored in a storage medium such as an optical disk such as a CD, DVD, or BD (Blue-Ray Disk), a USB memory, or a memory card. Then, when the program downloaded through the above-described server or storage medium is installed in a mobile phone having the same configuration as that of this embodiment, the same effect as that of this embodiment can be obtained.
  • One aspect of the first invention is a mobile terminal having a camera module and a display unit, the detection unit detecting a relative positional relationship between subjects from an image acquired from the camera module, based on the relative positional relationship,
  • a portable terminal includes an extraction unit that extracts a search target image from an image, a search unit that searches for predetermined information based on the search target image, and an output unit that outputs a search result searched by the search unit.
  • the camera module (50-54) of the mobile terminal (10: reference numeral exemplifying a corresponding part in the embodiment; the same applies hereinafter) outputs an image.
  • the image is acquired, and a preview image based on the acquired image is displayed on the display unit (14).
  • the detection unit (30, S19) detects the relative positional relationship between the subjects from the image acquired from the camera module.
  • the extraction unit (30, S23, S95, S97) extracts a search target image from the acquired image based on the detected relative positional relationship, for example, so as to include the subject selected by the user.
  • the search unit (30, S31) searches for predetermined information related to the search target image, for example, based on the search target image.
  • An output part (30, S63) outputs a search result, for example to a display part, and a search result is displayed on a display part.
  • the search target image can be appropriately extracted by using the relative positional relationship between the subjects, so that the search accuracy of the image search can be improved.
  • One aspect of the second invention is according to the first invention, further comprising a first reception unit that receives an extraction operation for extracting a search target image when an image acquired from the camera module is displayed, The unit detects the relative positional relationship when the first receiving unit receives the extraction operation.
  • the first receiving unit (30, S13) receives an operation as an extraction operation when an operation for selecting a subject is performed on the preview image.
  • the detection unit detects the relative positional relationship between the subjects.
  • the user can perform an image search for a subject that is interested during shooting.
  • One aspect of the third invention is dependent on the second invention and further includes a touch panel, the first reception unit receives a touch operation on the touch panel as an extraction operation, and the extraction unit is configured to extract an image based on the touch operation from Extract search target images.
  • a touch panel (16) for detecting a touch operation is provided on the display unit.
  • the first accepting unit accepts, for example, a touch operation on the preview image as an extraction operation. Therefore, when a touch operation is performed on the preview image, the search target image is extracted.
  • the user can easily perform an image search by specifying a search target by an intuitive operation on the touch panel.
  • One aspect of the fourth invention is according to the first invention, further comprising a setting unit that sets an extraction range for an image acquired from the camera module based on the relative positional relationship, and the extraction unit includes an extraction unit A search target image is extracted from the image based on the range.
  • the setting unit (30, S21) A region and a divided region including a subject existing at the same position (distance) as the subject included in the divided region are set as an extraction range.
  • the extraction unit extracts an image within the extraction range as a search target image.
  • the user can grasp the search target image to be extracted by setting the extraction range.
  • One aspect of the fifth invention is according to the first invention, wherein the camera module includes a lens, and the detection unit uses a focal length of the lens to make a relative relationship between subjects from an image acquired from the camera module. Detect the positional relationship.
  • the camera module includes a lens (54).
  • the detection unit detects the relative positional relationship between the subjects.
  • One aspect of the sixth invention is according to the first invention, further comprising a second accepting unit that accepts a change operation for changing a search target image, wherein the detecting unit receives the change operation.
  • the relative position relationship is re-detected, and when the second reception unit receives the change operation, the extraction unit receives another change image from the image acquired from the camera module based on the change operation and the re-detected relative position relationship. Extract search target images.
  • the second reception unit (30, S25) receives, for example, an operation for designating another search target as a change operation.
  • the change operation is performed, the relative positional relationship between the subjects is detected again.
  • another search target image is extracted from the acquired image based on the re-detected relative positional relationship.
  • One aspect of the seventh invention is dependent on the first invention, and when there are a plurality of search results by the search unit, a third reception unit that receives a switching operation of the output search result, and a third reception unit that performs the switching operation Is further provided with a switching unit that switches the search result to be output when the search result is received.
  • the third receiving unit (30, S67) when a plurality of search results are output, the third receiving unit (30, S67) receives a switching operation for switching the search results to be output.
  • the switching unit (30, S69) receives the switching operation, the switching unit (30, S69) switches the search result to be output.
  • the user when a plurality of search results are acquired, the user can check each of the plurality of search results.
  • One aspect of the eighth invention is dependent on the first invention, and the extraction unit extracts a search target image based on the color information.
  • the extraction unit extracts a search target image from the area.
  • the search target intended by the user can be more appropriately extracted by using the color information.
  • One aspect of the ninth invention is dependent on the first invention, and the extraction unit extracts a search target image using face detection.
  • the detected face image is extracted as a search target image.
  • the search object intended by the user can be more appropriately extracted by using the face detection process.
  • One aspect of the tenth invention is dependent on the first invention, and the search unit outputs a search result for the search target image from a database stored in a server on the network.
  • a search result for a search target image is output from a database stored in a server (102) on a network.
  • the user can perform an image search with respect to a database stored on the server.
  • An aspect of the eleventh aspect is according to the first aspect, further comprising a storage unit that stores a database, wherein the search unit outputs a search result for the search target image from the database stored in the storage unit.
  • the search result for the search target image is output from the database stored in the storage unit (44).
  • the eleventh aspect of the present invention it is possible to perform an image search on a database stored in the storage unit of the mobile terminal.
  • One aspect of the twelfth aspect of the invention is an image search method in a portable terminal (10) having a camera module (50-54) and a display unit (14), wherein the processor (30) of the portable terminal is connected to the camera module.
  • a search step (S31) for searching for predetermined information and an output step (S63) for outputting a search result searched for by the search step are executed.
  • the search target image can be appropriately extracted by using the relative positional relationship between the subjects, so that the search accuracy of the image search is improved. I can do it.

Abstract

　携帯電話機（１０）は、レンズ（５４）などを含むカメラモジュールなどを備え、カメラ機能が実行されるとプレビュー画像がディスプレイ（１４）に表示される。カメラ機能が実行されているときに検索モードが設定され、ユーザによってプレビュー画像に対してタッチ操作がされると、レンズの焦点距離を利用して被写体どうしの相対位置関係が検出される。そして、検出された相対位置関係およびタッチ操作のタッチ位置に基づいて検索対象画像が抽出される。この状態で、シャッターキーが操作されると、検索対象画像による検索結果が得られる。そして、検索結果を含む検索結果ポップアップ（Ｐ）がディスプレイ（１４）に表示される。

Description

携帯端末および画像検索方法
　この発明は携帯端末および画像検索方法に関し、特にカメラモジュールを有する携帯端末および画像検索方法に関する。
　背景技術の一例が特開平５－２３３７７８号公報に開示されている。この特開平５－２３３７７８号公報の電子ファイルの検索方法では、文書のページでイメージデータが表示されているときに、イメージデータの一部を、そのイメージデータの検索条件として登録することが出来る。登録されたイメージデータの一部はイメージ部品データと呼ばれ、イメージ部品データが検索条件として選択されると、検索結果としてイメージデータが得られる。
　ところが、特開平５－２３３７７８号公報の電子ファイルの検索方法では、イメージデータを検索するためには、イメージ部品データを予め登録しておかなければならない。また、イメージデータを検索するときには、登録されているイメージ部品データから所望のデータを選択しなければならず、このような操作には手間がかかる。
　それゆえに、新規な、携帯端末および画像検索方法が望まれている。
　また、画像検索を容易に行うことが出来る、携帯端末および画像検索方法が望まれている。
　この発明は、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
　第１の発明の一態様は、カメラモジュールおよび表示部を有する、携帯端末であって、カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する検出部、相対位置関係に基づいて、画像から検索対象画像を抽出する抽出部、検索対象画像に基づき所定の情報を検索する検索部、および検索部により検索された検索結果を出力する出力部を備える、携帯端末である。
　第１の発明の一態様では、携帯端末（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）のカメラモジュール（５０－５４）は画像を出力する。たとえば、その画像が取得され、表示部（１４）には取得された画像に基づくプレビュー画像が表示される。検出部（３０，Ｓ１９）は、たとえばユーザが被写体を選択する操作を行ったときに、カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する。抽出部（３０，Ｓ２３，Ｓ９５，Ｓ９７）は、たとえばユーザによって選択された被写体が含まれるように、検出された相対位置関係に基づいて、取得された画像から検索対象画像を抽出する。検索部（３０，Ｓ３１）は、検索対象画像に基づいて、たとえばその検索対象画像と関連する所定の情報を検索する。出力部（３０，Ｓ６３）は、たとえば表示部に検索結果を出力し、検索結果は表示部に表示される。
　第１の発明の一態様によれば、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来るため、画像検索の検索精度を向上させることが出来る。
　第２の発明の一態様は、カメラモジュール（５０－５４）および表示部（１４）を有する、携帯端末（１０）における画像検索方法であって、携帯端末のプロセッサ（３０）が、カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する検出ステップ（Ｓ１９）、相対位置関係に基づいて、画像から検索対象画像を抽出する抽出ステップ（Ｓ２３，Ｓ９５，Ｓ９７）、検索対象画像に基づき所定の情報を検索する検索ステップ（Ｓ３１）、および検索ステップにより検索された検索結果を出力する出力ステップ（Ｓ６３）を実行する、画像検索方法である。
　第２の発明の一態様でも、第１の発明と同様、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来るため、画像検索の検索精度を向上させることが出来る。
　この発明の一態様によれば、画像検索を容易に行うことが出来る。
　この発明の上述の特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図１はこの発明の一実施例の携帯電話機の外観の一例を示す外観図であり、図１（Ａ）は携帯電話機の表面の外観を示し、図１（Ｂ）は携帯電話機の裏面の外観を示す。 図２は図１に示す携帯電話機の電気的な構成を示す図解図である。 図３は図１に示すディスプレイにプレビュー画像が表示されている状態の一例を示す図解図である。 図４は図３に示すプレビュー画像においてＡＦ処理を行う手順の一例を示す図解図であり、図４（Ａ）はプレビュー画像に対してタッチ操作がされている状態の一例を示し、図４（Ｂ）はＡＦ処理によって被写体にピントが合った状態の一例を示す。 図５は図１に示すディスプレイに表示されるプレビュー画像に対して設定される分割領域の一例を示す図解図である。 図６は図２に示すＲＡＭに記憶される相対位置関係テーブルの一例を示す図解図である。 図７は図１に示すディスプレイに表示されるプレビュー画像において検索モードに切り替える操作の一例を示す図解図であり、図７（Ａ）は検索キーに対してタップ操作がされている状態の一例を示し、図７（Ｂ）は検索モードに切り替わった状態の一例を示す。 図８は図１に示すディスプレイに表示されるプレビュー画像から検索対象画像が抽出される処理の流れの一例を示す図解図であり、図８（Ａ）は任意の位置にタップ操作がされている状態の一例を示し、図８（Ｂ）は相対位置関係が検出されると共に、タップ操作がされた被写体にピントが合わせられた状態の一例を示し、図８（Ｃ）は抽出範囲が設定された状態の一例を示す。 図９は図１に示すディスプレイに表示される検索対象画像によって画像検索を行う操作の一例を示す図解図であり、図９（Ａ）は画像検索を行うためのタッチ操作の一例を示し、図９（Ｂ）は検索結果が表示されている状態の一例を示す。 図１０は図１に示すディスプレイに他の実施例の検索モードのプレビュー画像が表示されている状態の一例を示す図解図である。 図１１は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図１２は図２に示すプロセッサのカメラ機能処理の一部の一例を示すフロー図である。 図１３は図２に示すプロセッサのカメラ機能処理の他の一部の一例であって、図１２に後続するフロー図である。 図１４は図２に示すプロセッサの画像検索処理の一例を示すフロー図である。 図１５は図１に示すディスプレイに表示されるプレビュー画像から検索対象画像が抽出される処理の流れの他の一例を示す図解図であり、図１５（Ａ）は任意の位置にタップ操作がされている状態の一例を示し、図１５（Ｂ）は相対位置関係が検出されると共に、タップ操作がされた被写体にピントが合わせられた状態の一例を示し、図１５（Ｃ）は抽出範囲が設定された状態の一例を示し、図１５（Ｄ）は抽出範囲から検索対象画像が抽出されている状態の一例を示し、図１５（Ｅ）は抽出された検索対象画像が表示されている状態の一例を示す。 図１６は図１５に示すプレビュー画像において検索対象画像を変更する操作の一例を示す図解図であり、図１６（Ａ）は他の検索対象画像を抽出するためのタッチ操作の一例であり、図１６（Ｂ）は他の検索対象画像が抽出されている状態の一例を示す。 図１７は図１５に示すプレビュー画像において検索対象画像の抽出を解除する操作の一例を示す図解図であり、図１７（Ａ）は検索対象画像に対してタッチ操作がされている状態の一例を示し、図１７（Ｂ）は検索対象画像の抽出が解除された状態の一例を示す。 図１８は図１に示すディスプレイに表示されるプレビュー画像から検索対象画像が抽出される処理の流れのその他の一例を示す図解図であり、図１８（Ａ）は人間の顔に対してタップ操作がされている状態の一例を示し、図１８（Ｂ）は検出された人間の顔が検索対象画像として抽出され、かつ検索を行うタッチ操作が行われている状態の一例を示し、図１８（Ｃ）は検索結果が表示されている状態の一例を示す。 図１９は図１８に示す検索結果を他の検索結果に切り換える操作の一例を示す図解図であり、図１９（Ａ）はカーソルに対してタッチ操作がされている状態の一例を示し、図１９（Ｂ）は他の検索結果が表示されている状態の一例を示す。 図２０は図２に示すプロセッサの第２実施例のカメラ機能処理の一部の一例を示すフロー図である。
＜第１実施例＞
　図１（Ａ），（Ｂ）を参照して、この発明の一実施例の携帯電話機１０は、一例としてスマートフォン（smartphone）であり、縦長の扁平矩形のハウジング１２を含む。ただし、この発明は、デジタルカメラ、タブレット端末、タブレットＰＣ、ノートＰＣおよびＰＤＡなど任意の携帯端末に適用可能であることを予め指摘しておく。
　ハウジング１２の主面（表面）には、表示部とも呼ばれる、たとえば液晶や有機ＥＬなどのディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられる。
　ハウジング１２の縦方向一端の主面側にスピーカ１８が内蔵され、縦方向他端の主面側にマイク２０が内蔵される。
　ハウジング１２の主面には、タッチパネル１６と共に入力操作手段を構成するハードキーとして、この実施例では、通話キー２２ａ、終話キー２２ｂおよびメニューキー２２ｃが設けられる。
　また、ハウジング１２の他面（裏面）には、カメラモジュールのレンズ５４などに通じるレンズ開口２４が設けられる。
　たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルパッドに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２ａを操作して音声通話を開始することができる。終話キー２２ｂを操作すれば、音声通話を終了することができる。なお、ユーザは終話キー２２ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることができる。
　また、メニューキー２２ｃが操作されると、ディスプレイ１４にホーム画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているオブジェクトなどに対して、タッチパネル１６によるタッチ操作を行うことによってオブジェクトを選択し、その選択を確定させることができる。
　また、カメラ機能が実行されると、ディスプレイ１４に被写界と対応するプレビュー画像（スルー画像）が表示される。そして、ユーザは、レンズ開口２４が設けられている他面を任意の被写体に向けて撮影操作を行うことで、撮影することが出来る。
　なお、携帯電話機１０は、電話機能以外に、メール機能およびブラウザ機能などを実行可能である。また、以下の説明では、ディスプレイ１４に表示されるキーなどのＧＵＩおよびアイコンなどは、まとめてオブジェクトと言うことがある。
　図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ３０などを含む。プロセッサ３０には、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８およびカメラ制御回路５０などが接続される。
　プロセッサ３０は、携帯電話機１０の全体制御を司る。ＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。また、ＲＡＭ４６はさらに、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。
　入力装置４０は、図１に示すハードキー２２を含むものである。そのため、ハードキー２２に対するユーザからのキー操作を受け付ける操作受付部を構成する。ユーザが操作したハードキーの情報（キーデータ）はプロセッサ３０に入力される。
　無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザがタッチパネル１６を操作して発呼（音声発信）を指示すると、無線通信回路３２は、プロセッサ３０の指示の下、音声発信処理を実行し、アンテナ３４を介して音声発信信号を出力する。音声発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において音声着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。
　また、無線通信回路３２はアンテナ３４を介して、ネットワーク（通信網、電話網）１００と無線接続される。データサーバ１０２は、有線または無線で、ネットワーク１００と接続される。したがって、携帯電話機１０は、ネットワーク１００を介してデータサーバ１０２と通信を確立することが出来る。
　Ａ／Ｄ変換器３６には図１に示すマイク２０が接続され、上述のようにマイク２０からの音声信号はこのＡ／Ｄ変換器３６でディジタルの音声データに変換され、プロセッサ３０に入力される。一方、Ｄ／Ａ変換器３８にはスピーカ１８が接続される。Ｄ／Ａ変換器３８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データに基づく音声がスピーカ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ１８から出力される。
　なお、プロセッサ３０は、たとえばユーザによるボリューム調整操作に応答して、Ｄ／Ａ変換器３８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することが出来る。
　表示ドライバ４２には図１に示すディスプレイ１４が接続され、したがって、ディスプレイ１４はプロセッサ３０から出力される映像または画像データに従って映像または画像を表示する。表示ドライバ４２は表示する画像データを一時的に記憶するビデオメモリを含んでおり、プロセッサ３０から出力されたデータはこのビデオメモリに記憶される。そして、表示ドライバ４２は、ビデオメモリの内容に従って、ディスプレイ１４に画像を表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。そのため、プロセッサ３０は表示制御部と呼ばれることもある。なお、ディスプレイ１４には、バックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。
　タッチパネル制御回路４８には、タッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６に必要な電圧などを付与するとともに、タッチパネル１６に対するユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびユーザがタッチしたタッチ位置を示す座標データをプロセッサ３０に入力する。したがって、プロセッサ３０はこの座標データに基づいて、ユーザがどのオブジェクトに対してタッチしたかを判断することが出来る。
　実施例では、タッチパネル１６は、その表面と指などの物体（以下、便宜上合わせて指と言う。）との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。そのため、タッチパネル１６はポインティングデバイスとも呼ばれる。タッチパネル制御回路４８は、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データをプロセッサ３０に出力する。つまり、ユーザは、タッチパネル１６の表面に対してタッチ操作を行うことによって、操作位置や、操作方向などを携帯電話機１０に入力する。
　本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。
　タップ操作は、タッチパネル１６の表面に指を接触（タッチ）させた後、短時間のうちにタッチパネル１６の表面から指を離す（リリースする）操作である。ロングタップ操作は、所定時間以上、指をタッチパネル１６の表面に接触させ続けた後、指をタッチパネル１６の表面から離す操作である。フリック操作は、タッチパネル１６の表面に指を接触させ、任意の方向へ所定速度以上で指を弾く操作である。スライド操作は、タッチパネル１６の表面に指を接触させたまま任意の方向へ移動させた後、タッチパネル１６の表面から指を離す操作である。
　また、上記のスライド操作には、ディスプレイ１４の表面に表示されたオブジェクトに指を触れ、オブジェクトを移動させるスライド操作、いわゆるドラッグ操作も含まれる。また、ドラッグ操作の後、タッチパネル１６の表面から指を離す操作をドロップ操作と呼ぶ。
　なお、以下の説明では、タップ操作、ロングタップ操作、フリック操作、スライド操作、ドラッグ操作およびドロップ操作は、それぞれ「操作」を省略して記述されることがある。また、タッチ操作はユーザの指だけに限らず、スタイラスペンなどによって行われてもよい。
　カメラ制御回路５０には、イメージセンサ５２およびレンズ５４のレンズ位置を調整するモータ（図示せず）などが接続される。また、カメラ制御回路５０は、携帯電話機１０で静止画像または動画像を撮影するための回路である。たとえば、カメラ機能を実行する操作が行われると、プロセッサ３０はカメラ制御回路５０を起動して、カメラ機能を実行する。なお、カメラ制御回路５０、イメージセンサ５２およびレンズ５４は、まとめてカメラモジュールまたは撮影部と呼ばれる。
　たとえば、被写体の光学像はイメージセンサ５２に照射され、イメージセンサ５２の撮像エリアには、たとえばSXGA(1280×1024画素)に対応する受光素子が配置されており、撮像エリアでは、光電変換によって、被写体の光学像に対応する電荷つまりSXGAの生画像信号が生成される。なお、ユーザは、画像データのサイズを、SXGAの他に、XGA(1024×768画素)およびVGA(640×480画素)などに変更することができる。
　カメラ機能が実行されると、被写体のリアルタイム動画像つまりプレビュー画像をディスプレイ１４に表示するべく、プロセッサ３０は、カメラ制御回路５０に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作を、イメージセンサドライバに命令する。
　イメージセンサドライバは、イメージセンサ５２の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ５２から出力される。また、出力された生画像信号はカメラ制御回路５０に入力され、カメラ制御回路５０は入力された生画像信号に対して、色分離、白バランス調整、YUV変換などの処理を施し、YUV形式の画像データを生成する。そして、YUV形式の画像データはプロセッサ３０に入力される。
　ここで、カメラ制御回路５０は生画像信号からフォーカス評価値を算出し、そのフォーカス評価値をプロセッサ３０に出力する。プロセッサ３０は、カメラ制御回路５０から出力されたフォーカス評価値に基づいて、ＡＦ（オートフォーカス）処理を実行する。ＡＦ処理が実行されると、カメラ制御回路５０はプロセッサ３０の指示の下、レンズ５４の焦点距離ｆを調整する。その結果、被写体にピントが合わせられたスルー画像がディスプレイ１４に表示される。
　また、プロセッサ３０に入力されたYUV形式の画像データは、プロセッサ３０によってＲＡＭ４６に格納（一時記憶）される。さらに、格納されたYUV形式の画像データは、プロセッサ３０でRGBデータに変換された後に、ＲＡＭ４６から表示ドライバ４２に与えられる。そして、RGB形式の画像データがディスプレイ１４に出力される。これによって、被写体を表す低解像度（たとえば、320×240画素）のプレビュー画像がディスプレイ１４に表示される。
　静止画像の撮影操作が行われると、プロセッサ３０は、静止画像の本撮影処理を実行する。つまり、プロセッサ３０は、イメージセンサ５２から出力されるSXGAの生画像信号に信号処理を施して、ＲＡＭ４６に一旦格納し、フラッシュメモリ４４に対する記憶処理を実行する。記憶処理が実行されると、プロセッサ３０を通してＲＡＭ４６から撮影画像データが読み出される。そして、プロセッサ３０は、読み出した撮影画像データにメタ情報を関連付けて、一つのファイルとしてフラッシュメモリ４４に記憶する。さらに、プロセッサ３０は、図示しないスピーカから、本撮影処理が実行されていること通知する音を出力させる。
　なお、携帯電話機１０にメモリカードが接続される場合、撮影画像データはメモリカードに記憶されてもよい。また、撮影画像データに関連付けられるメタ情報は、Ｅｘｉｆフォーマットで記憶される。
　また、ユーザが動画像を撮影する設定をして撮影操作を行うと、プロセッサ３０は、動画像用の本撮影処理を実行する。このとき、プロセッサ３０は、カメラ制御回路５０に対して、VGAの生画像信号を所定のフレームレートで出力させる命令を発行する。そして、プロセッサ３０は、静止画像の本撮影処理と同様、所定のフレームレートで読み出された各生画像信号に対して複数の処理を加えた後に、動画像データをフラッシュメモリ４４に記憶する。
　なお、フラッシュメモリ４４にはアドレス帳データが記憶されている。そして、フラッシュメモリ４４に記憶されているアドレス帳データと撮影画像データとはまとめてデータベースと呼ばれることがある。
　図３はディスプレイ１４にプレビュー画像が表示されている状態の一例を示す図解図である。ディスプレイ１４の表示範囲は状態表示領域６０および機能表示領域６２を含む。状態表示領域６０には、アンテナ３４による電波受信状態を示すピクト、二次電池の残電池容量を示すピクトおよび時刻が表示される。機能表示領域６２には、カメラ画面が表示される。カメラ画面には、カメラモジュールの出力に基づくプレビュー画像が表示されると共に、カメラ画面の左側にはズームスライダーおよびメニューキーが表示され、カメラ画面の右側にはシャッターキー、閲覧キーおよび検索キーが表示される。
　ズームスライダーに対してスライド操作がされると、デジタルズーム処理または光学ズーム処理によって画角が変化する。
　メニューキーに対してタップ操作がされると、ホワイトバランスおよび露出補正などの設定を変更するためのＧＵＩが表示される。シャッターキーに対してタップ操作がされると、上述した本撮影処理が実行される。閲覧キーに対してタップ操作がされると、フラッシュメモリ４４に記憶されている撮影画像データを閲覧可能にする閲覧機能が実行される。そして、検索キーに対してタッチ操作がされると、検索モードが設定される。検索モードについては後述するため、ここでの詳細な説明は省略する。
　また、プレビュー画像において任意の位置にタップ操作がされると、タップされた被写体にピントが合うように、ＡＦ処理が実行される。たとえば、図３では、手前の花壇に対してピントがあった状態であるが、図４（Ａ）に示すように、背後の自動車に対してタップされると、その自動車にピントが合うようにＡＦ処理が実行される。その結果、ディスプレイ１４には、図４（Ｂ）に示すように、自動車にピントが合った状態のプレビュー画像が表示される。
　ここで、本実施例では、本撮影処理が実行されるときに、被写体どうしの相対位置関係を検出し、検出した相対位置関係をメタ情報として記憶する。
　具体的には、図５を参照して、プレビュー画像に対して９つの分割領域Ｒ１－Ｒ９を設定する。シャッターキーが操作されると、レンズ５４の焦点距離ｆをワイド端からテレ端に変化させ、焦点距離ｆが変化しているときの各分割領域Ｒのそれぞれのフォーカス評価値を算出する。また、フォーカス評価値が最大値となったときの焦点距離ｆをそれぞれ特定し、特定された焦点距離ｆ１－ｆ９が、分割領域Ｒ１－Ｒ９にそれぞれ対応付けられて、図６に示す相対位置関係テーブルに記憶される。そして、このようにして焦点距離ｆ１－ｆ９が記憶された相対位置関係テーブルは、撮影画像データのメタ情報の一部として記憶される。
　たとえば、被写体どうしの相対位置が異なる場合、それぞれの被写体が含まれる分割領域Ｒと対応する各焦点距離ｆは異なる。一方、被写体どうしの相対位置が同じである場合、それぞれの被写体が含まれる分割領域Ｒと対応する各焦点距離ｆは略同じ値となる。つまり、分割領域Ｒ５の焦点距離ｆ５および分割領域Ｒ６の焦点距離ｆ６を比較したときに、異なっていれば、分割領域Ｒ５に含まれる被写体と分割領域Ｒ６に含まれる被写体とは、携帯電話機１０から異なる位置（距離）に存在していることとなる。また、２つの分割領域Ｒの焦点距離ｆが略同じであれば、それぞれの分割領域Ｒに含まれる被写体は、携帯電話機１０から略同じ位置（距離）に存在していることがわかる。つまり、複数の分割領域Ｒに対して、フォーカス評価値が最大となった時の焦点距離ｆを記憶することで、被写体どうしの相対位置関係を検出することが出来る。このように、レンズ５４の焦点距離ｆを利用して相対位置関係を検出することが可能であるため、カメラモジュールを備える既存の携帯端末でもソフトウェアを更新または追加することで、被写体どうしの相対位置関係を検出できるようになる。
　なお、本実施例では、焦点距離ｆを略同じ値と判断する範囲は、０．０－０．２ｍｍとする。ただし、他の実施例では上述の範囲より狭く設定されてもよいし、広く設定されてもよい。
　また、本実施例では分割領域Ｒの数を９つとしたが、他の実施例ではさらに多くてもよいし、少なくてもよい。また、分割領域Ｒの大きさは全てが同じであってもよいし、全部または一部が異なる大きさであってもよい。
　次に、検索モードについて説明する。図７（Ａ），（Ｂ）を参照して、上述したように、検索キーに対してタップ操作がされると、検索モードに遷移する。検索モードでは、検索キーの色が反転すると共に、ズームスライダーおよびメニューキーの表示が消去される。そして、検索モードでは、画像検索によって画像を利用してデータサーバ１０２またはフラッシュメモリ４４に記憶されるデータベースから、検索用の画像についての検索結果を得ることが出来る。検索モードで検索キーに対してタップ操作がされると、撮影モードに戻る。画像検索のアルゴリズム等については、広く一般的な技術であるため詳細な説明は省略する。
　図８（Ａ）－（Ｃ）を参照して、たとえばプレビュー画像において被写体を示す位置にタップ操作がされると、相対位置関係テーブルに、各分割領域Ｒの焦点距離ｆが記憶され、かつタッチ位置に基づいてＡＦ処理が実行される。そして、焦点距離ｆが記憶された相対位置関係テーブルに基づいて、タップされた分割領域Ｒに含まれる被写体と略同じ位置に存在する被写体を含む分割領域Ｒが特定される。つまり、タップされた分割領域Ｒの焦点距離ｆと略同じ値の焦点距離ｆが対応付けられた分割領域Ｒが特定される。たとえば、分割領域Ｒ５と分割領域Ｒ８との焦点距離ｆが略同じであれば、分割領域Ｒ５に対してタップ操作がされると、分割領域Ｒ５と共に、分割領域Ｒ８が特定される。そして、分割領域Ｒ５および分割領域Ｒ８は１つの抽出範囲として設定され、抽出範囲内の画像が検索対象画像として抽出される。また、検索対象画像が抽出されると、抽出範囲以外のプレビュー画像の色はグレースケールに変更される。このように、抽出範囲を設定することで、ユーザは抽出される検索対象画像を把握することが出来る。
　また、抽出範囲に対してタップ操作がされると、検索対象画像の抽出が解除される。さらに、抽出範囲以外の位置にタップ操作がされると、検索対象画像が変更される。つまり、抽出範囲以外の位置にタップ操作が行われると、既に抽出されていた検索対象画像の抽出が解除され、タップ操作が行われた抽出範囲内の画像が新たな検索対象画像として抽出される。上記の態様によれば、ユーザは、検索対象を誤って選択したとしても、任意に変更することが出来る。
　図９（Ａ）を参照して、検索対象画像が抽出された状態で、シャッターキーが操作されると、検索対象画像による検索結果を得るために、画像検索処理が実行される。具体的には、データサーバ１０２およびフラッシュメモリ４４に記憶されるデータベースから、検索対象画像と関連する情報が検索される。たとえばここでは、検索対象画像には被写体として花が含まれており、データサーバ１０２のデータベースから花の名称や特徴などの情報が検索結果として得られる。そして、図９（Ｂ）に示すように、得られた検索結果を含む検索結果ポップアップＰが、検索対象画像に関連付けて表示される。
　また、図９（Ｂ）に示す検索結果ポップアップＰの中には、テキストが表示されているが、検索結果として画像が得られた場合は、その画像も検索結果ポップアップＰの中に表示される。さらに、検索結果ポップアップＰに対してダブルタップ操作がされると、得られた検索結果が機能表示領域６２に拡大して表示される。そして、検索結果ポップアップＰの外側にタップ操作がされると、検索結果が消去されると共に抽出範囲の設定が解除され、検索対象を任意に選択することが出来る図７（Ｂ）に示す状態に戻る。なお、複数の検索結果を取得した場合には、切替操作によって検索結果ポップアップに表示される検索結果が切り換えられる。
　このように、本実施例では、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来る。そのため、画像検索の検索精度を向上させることが出来る。また、ユーザは撮影中に興味を持った被写体について、画像検索を行うことが出来る。特に、ユーザはタッチパネル１６に対する直感的な操作で、検索対象を指定して画像検索を容易に行うことが出来る。
　ここで、表示されている検索対象画像は矩形ではない場合が多い。ところが、画像検索を行う際には検索に利用する画像は矩形である必要がある。そこで、本実施例では、検索対象画像が抽出されると、その検索対象画像を囲うことが出来る最小面積の矩形を定義し、その矩形の中に検索対象画像を張り付けることで、画像検索を行うことが可能な状態に加工する。なお、このように加工された検索対象画像において、元の検索対象画像が描かれていない部分は、所定の色（たとえば、白）で彩色されるか、無色透明にされる。
　なお、他の実施例では、タッチ操作による検索対象画像の抽出ではなく、カメラ画面に表示されるガイドリングＧによって検索対象画像が抽出されてもよい。たとえば、図１０を参照して、他の実施例の検索モードでは、カメラ画面にガイドリングＧが表示される。そして、ユーザはガイドリングＧの中に検索対象が入るように携帯電話機１０の位置を調整した後にシャッターキーを操作すれば、ガイドリングＧの位置に基づいて検索対象画像が抽出される。つまり、図１０の状態でシャッターキーが操作されると、分割領域Ｒ５に含まれる花に対してタッチされた場合と同様に、被写体どうしの相対位置関係が検出され、抽出範囲が設定される。そして、抽出範囲から検索対象画像が抽出され、画像検索処理が実行される。つまり、ガイドリングＧが表示されている状態では、ユーザはタッチ操作を行うことなく、検索対象画像を抽出することが出来る。そのため、シャッターキーをソフトキーではなく、ハードウエアキーとした場合は、タッチパネル１６を利用することなく、画像検索を実施することが出来るようになる。したがって、タッチパネル１６を有しないデジタルカメラなどの携帯端末であっても、本実施例を適用することが出来る。
　上述では第１実施例の特徴を概説した。以下では、図１１に示すメモリマップおよび図１２－図１４に示すフロー図を用いて詳細に説明する。
　図１１を参照して、ＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。
　プログラム記憶領域３０２には、カメラ機能を実行するためのカメラ機能プログラム３１０および画像検索を行うための画像検索プログラム３１２などが記憶される。なお、プログラム記憶領域３０２には、メール機能、ブラウザ機能などの機能を実行するためのプログラムも記憶される。
　続いて、ＲＡＭ４６のデータ記憶領域３０４には、タッチバッファ３３０、プレビュー画像バッファ３３２、相対位置関係バッファ３３４、検索対象画像バッファ３３６および検索結果バッファ３３８などが設けられる。また、データ記憶領域３０４には、タッチ座標マップ３４０が記憶されると共に、タッチフラグ３４２も設けられる。
　タッチバッファ３３０には、タッチパネル制御回路４８が出力するタッチ座標のデータ、タッチ操作の始点および終点のタッチ座標のデータなどが一時的に記憶される。プレビュー画像バッファ３３２には、カメラモジュールから出力された画像が一時的に記憶される。そして、カメラ機能が実行されたときには、プレビュー画像バッファ３３２に記憶されている画像に基づいてプレビュー画像が表示される。相対位置関係バッファ３３４には、相対位置関係が検出されたときに、相対位置関係テーブルが一時的に記憶される。検索対象画像バッファ３３６には、抽出された検索対象画像が一時的に記憶される。検索結果バッファ３３８には検索対象画像による検索結果が一時的に記憶される。
　タッチ座標マップ３４０は、タッチ操作におけるタッチ座標とディスプレイ１４の表示座標とを対応付けるためのデータである。つまり、タッチパネル１６に対して行われたタッチ操作の結果が、タッチ座標マップ３４０に基づいてディスプレイ１４の表示に反映される。
　タッチフラグ３４２は、タッチパネル１６に対してタッチされているか否かを判断するためのフラグである。たとえば、タッチフラグ３４２は、１ビットのレジスタで構成される。タッチフラグ３４２がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、タッチフラグ３４２がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。また、タッチフラグ３４２は、タッチパネル制御回路４８の出力に基づいてオン／オフが切り換えられる。
　なお、データ記憶領域３０４には、ＧＵＩなどのオブジェクトを表示するためのデータが記憶されたり、プログラムの実行に必要な、他のフラグやタイマ（カウンタ）が設けられたりする。
　プロセッサ３０は、Ｗｉｎｄｏｗｓ（登録商標）ベースのＯＳや、Ａｎｄｒｏｉｄ（登録商標）およびｉＯＳ（登録商標）などのＬｉｎｕｘ（登録商標）ベースのＯＳなどその他のＯＳの制御下で、図１２、図１３に示すカメラ機能処理および図１４に示す画像検索処理などを含む、複数のタスクを並列的に処理する。
　図１２はカメラ機能処理のフロー図の一部である。カメラ機能処理は、たとえばカメラ機能を実行する操作がされると開始される。ステップＳ１でプロセッサ３０は、プレビュー画像を表示する。たとえば、プロセッサ３０は、カメラ制御回路５０を動作させ、カメラ制御回路５０の出力に基づくプレビュー画像を、プレビュー画像バッファ３３２から読み出す。そして、読み出されたプレビュー画像はディスプレイ１４に表示される。
　続いて、ステップＳ３でタッチ操作がされたか否かを判断する。つまり、タッチフラグ３４２がオンであるかが判断される。ステップＳ３で“ＮＯ”であれば、つまりタッチ操作がされなければ、プロセッサ３０はステップＳ３の処理を繰り返す。また、ステップＳ３で“ＹＥＳ”であれば、たとえばユーザによってタップ操作がされると、ステップＳ５でプロセッサ３０は、検索キーにタップされたか否かを判断する。つまり、検索モードを設定するタッチ操作がされたかが判断される。
　ステップＳ５で“ＮＯ”であれば、つまり検索キーに対してタッチ操作がされていなければ、ステップＳ７でプロセッサ３０は、終了か否かを判断する。つまり、カメラ機能を終了させるタッチ操作されたかが判断される。ステップＳ７で“ＹＥＳ”であれば、つまりカメラ機能を終了させるタッチ操作がされた場合、プロセッサ３０はカメラ機能処理を終了する。一方、ステップＳ７で“ＮＯ”であれば、つまりカメラ機能を終了させるタッチ操作がされていなければ、ステップＳ９でプロセッサ３０は、タッチ位置に基づいて処理を実行する。たとえば、プレビュー画像の任意の位置にタップ操作がされた場合は、ＡＦ処理が実行される。また、シャッターキーにタップ操作がされた場合は、本撮影処理が実行される。そして、ステップＳ９の処理が終了すれば、プロセッサ３０はステップＳ３の処理に戻る。
　また、ステップＳ５で“ＹＥＳ”であれば、つまり検索キーに対してタップされると、ステップＳ１１で検索モードが設定される。たとえば、検索モードが設定されると、図７に示すカメラ画面が表示される。
　続いて、ステップＳ１３でプロセッサ３０は、抽出操作がされたか否かを判断する。たとえば、抽出操作としてプレビュー画像に対するタップ操作を受け付けたかが判断される。なお、ステップＳ１３の処理を実行するプロセッサ３０は第１受付部として機能する。ステップＳ１３で“ＮＯ”であれば、つまり抽出操作がされなければ、ステップＳ１５でプロセッサ３０は、検索キーに対してタップがされたか否かを判断する。つまり、撮影モードに遷移させる操作がされたかが判断される。ステップＳ１５で“ＹＥＳ”であれば、つまり検索キーに対してタップされると、ステップＳ１７でプロセッサ３０は、検索モードを解除する。たとえば、図３に示すカメラ画面が再び表示される。そして、ステップＳ１７の処理が終了すれば、プロセッサ３０はステップＳ３の処理に戻る。
　また、ステップＳ１５で“ＮＯ”であれば、つまり検索キーにタップされていなければ、プロセッサ３０はステップＳ１３の処理に戻る。さらに、ステップＳ１３で“ＹＥＳ”であれば、つまりプレビュー画像に対してタップする抽出操作がされると、ステップＳ１９でプロセッサ３０は、相対位置関係を検出する。つまり、プロセッサ３０は、レンズ５４を駆動させる命令をカメラモジュール（カメラ制御回路５０）に出し、各分割領域Ｒにおいてフォーカス評価値が最大となったときの焦点距離ｆを相対位置関係テーブルに記憶させる。また、相対位置関係テーブルが相対位置関係バッファ３３４に記憶されると、タッチされた分割領域Ｒのフォーカス評価値が最大値となるように、カメラモジュールはレンズ５４を移動させる。つまり、相対位置関係を検出した結果を利用して、ＡＦ処理が実行される。続いて、ステップＳ２１でプロセッサ３０は、抽出範囲を設定する。つまり、相対位置関係テーブルに基づいて、タッチ操作がされた分割領域Ｒと略同じ焦点距離ｆが対応付けられている分割領域Ｒを特定し、特定された分割領域Ｒを抽出範囲として設定する。続いて、ステップＳ２３でプロセッサ３０は、検索対象画像を抽出する。つまり、設定された抽出範囲に含まれる画像の画像データを抽出し、抽出した画像データを検索対象画像バッファ３３６に記憶させる。また、検索対象画像が抽出されると、抽出範囲以外のプレビュー画像の色がグレースケールにされる。なお、ステップＳ１９の処理を実行するプロセッサ３０は検出部として機能し、ステップＳ２１の処理を実行するプロセッサ３０は設定部として機能し、ステップＳ２３の処理を実行するプロセッサ３０は抽出部として機能する。
　続いて、ステップＳ２５でプロセッサ３０は、変更操作か否かを判断する。つまり、抽出範囲以外のプレビュー画像に対するタップ操作を受け付けたかが判断される。ステップＳ２５で“ＹＥＳ”であれば、つまり変更操作がされると、プロセッサ３０はステップＳ１９の処理に戻る。一方、ステップＳ２５で“ＮＯ”であれば、つまり変更操作がされていなければ、ステップＳ２７でプロセッサ３０は、解除操作か否かを判断する。つまり、プロセッサ３０は、抽出範囲に対するタップ操作を受け付けたかを判断する。ステップＳ２７で“ＹＥＳ”であれば、つまり解除操作がされると、プロセッサ３０はステップＳ１３の処理に戻る。一方、ステップＳ２７で“ＮＯ”であれば、つまり解除操作がされなければ、ステップＳ２９でプロセッサ３０は、検索操作か否かを判断する。つまり、シャッターキーに対するタップ操作を受け付けたかが判断される。ステップＳ２９で“ＮＯ”であれば、つまり検索操作がされなければ、プロセッサ３０はステップＳ２５の処理に戻る。一方、ステップＳ２９で“ＹＥＳ”であれば、つまり検索操作がされると、ステップＳ３１でプロセッサ３０は、画像検索処理を実行する。この画像検索処理の詳細については後述するため、ここでの詳細な説明は省略する。そして、ステップＳ３１の処理が終了すれば、プロセッサ３０はステップＳ１３の処理に戻る。なお、ステップＳ２５の処理を実行するプロセッサ３０は第２受付部として機能し、ステップＳ３１の処理を実行するプロセッサ３０は検索部として機能する。
　図１４は画像検索処理のフロー図である。たとえば、ステップＳ３１の処理が実行されると、画像検索処理が開始される。ステップＳ５１でプロセッサ３０は、データサーバ１０２から検索対象画像を検索する。つまり、データサーバ１０２とのデータ通信を確立した後、検索対象画像をデータサーバ１０２に送信すると共に、検索対象画像データに基づく画像検索をデータサーバ１０２に要求する。続いて、ステップＳ５３でプロセッサ３０は、検索結果を取得できたか否かを判断する。つまり、検索対象画像についての検索結果をデータサーバ１０２から受信したかが判断される。ステップＳ５３で“ＮＯ”であれば、つまりデータサーバ１０２には検索対象画像に関連する情報が記憶されておらず、データサーバ１０２から検索結果を取得することが出来なければ、プロセッサ３０はステップＳ５７の処理に進む。また、ステップＳ５３で“ＹＥＳ”であれば、つまりデータサーバ１０２から検索結果を取得することが出来れば、ステップＳ５５でプロセッサ３０は、検索結果を記憶する。つまり、データサーバ１０２から受信した検索結果が検索結果バッファ３３８に記憶される。
　続いて、ステップＳ５７でプロセッサ３０は、フラッシュメモリ４４から検索対象画像を検索する。たとえば、フラッシュメモリ４４に記憶される複数の撮影画像およびアドレス帳データを含むデータベースから、検索対象画像と関連する情報を検索する。続いて、ステップＳ５９でプロセッサ３０は、検索結果を取得できたか否かを判断する。つまり、フラッシュメモリ４４に検索対象画像と関連する情報が記憶されていたかを判断する。ステップＳ５９で“ＮＯ”であれば、つまり検索対象画像と関連する情報がフラッシュメモリ４４に記憶されていなければ、プロセッサ３０はステップＳ６３の処理に進む。また、ステップＳ５９で“ＹＥＳ”であれば、つまり検索対象画像と関連する情報がフラッシュメモリ４４に記憶されていれば、ステップＳ６１でプロセッサ３０は、検索結果を記憶する。たとえば、検索対象画像についての検索結果としてアドレスデータが得られた場合、そのアドレスデータが検索結果バッファ３３８に記憶される。
　続いて、ステップＳ６３でプロセッサ３０は、検索結果を表示する。つまり、検索結果バッファ３３８に記憶されている内容を含む検索結果ポップアップＰがディスプレイ１４に表示される。ただし、検索結果バッファ３３８に検索結果が記憶されていない場合は、検索結果ポップアップＰの中には、「検索結果を得ることが出来ませんでした。」などの文字列が表示され、検索結果が得られなかったことが通知される。なお、ステップＳ６３の処理を実行するプロセッサ３０は出力部として機能する。
　続いて、ステップＳ６５でプロセッサ３０は、検索結果が複数か否かを判断する。つまり、検索結果バッファ３３８に複数の検索結果が記憶されているかが判断される。ステップＳ６５で“ＹＥＳ”であれば、つまり検索結果が複数であれば、ステップＳ６７でプロセッサ３０は、切替操作か否かを判断する。たとえば、検索結果を切り替えるためのタッチ操作を受け付けたかが判断される。ステップＳ６７で“ＮＯ”であれば、つまり切替操作がされなければ、プロセッサ３０はステップＳ７１の処理に進む。一方、ステップＳ６７で“ＹＥＳ”であれば、つまり切替操作がされると、ステップＳ６９でプロセッサ３０は、検索結果の表示を切り替える。つまり、検索結果ポップアップＰの中には、他の検索結果が表示される。そして、ステップＳ６９の処理が終了すれば、プロセッサ３０はステップＳ６５の処理に戻る。なお、ステップＳ６７の処理を実行するプロセッサ３０は第３受付部として機能し、ステップＳ６９の処理を実行するプロセッサ３０は切替部として機能する。
　ステップＳ６５で“ＮＯ”であれば、つまり検索結果バッファ３３８に記憶されている検索結果が１つであれば、ステップＳ７１でプロセッサ３０は、終了か否かを判断する。つまり、検索結果ポップアップＰの表示を終了（消去）する操作がされたかが判断される。ステップＳ７１で“ＮＯ”であれば、つまり検索結果ポップアップＰの表示を消去する操作がされなければ、プロセッサ３０はステップＳ６５の処理に戻る。一方、ステップＳ７１で“ＹＥＳ”であれば、つまり検索結果ポップアップＰの表示を消去する操作がされると、ステップＳ７３でプロセッサ３０は、検索結果の表示を消去する。つまり、検索結果ポップアップＰの表示が消去される。そして、ステップＳ７３の処理が終了すれば、プロセッサ３０は、画像検索処理を終了して、カメラ機能処理に戻る。
　＜第２実施例＞
　第２実施例では、抽出範囲が設定された後に、色情報に基づく領域選択や、顔検出処理などの画像処理を加えることで検索対象画像をより適切に抽出する。なお、第２実施例の携帯電話機１０は、第１実施例と略同じであるため、外観および電気的な構成などの説明は省略する。
　まず、色情報に基づく領域選択を利用して検索対象画像を抽出する処理について説明する。図１５（Ａ）－（Ｃ）を参照して、検索モードで任意の被写体（たとえば、花）を示す位置にタップ操作がされると、第１実施例と同様、抽出範囲が設定される。次に、図１５（Ｄ）を参照して、抽出範囲が設定されると、タッチ位置の色情報と略同じ色情報を持つ領域が選択される。第２実施例では、このようにして選択された領域から検索対象画像が抽出される。たとえば、図１５（Ｅ）に示すように「花」の一部が検索対象画像として抽出された場合、抽出された部分（図面では太線で指示）以外のプレビュー画像の色はグレースケールにされる。
　そして、このように検索対象画像が抽出されている状態でシャッターキーが操作されると、検索対象画像についての検索結果が中に表示される検索結果ポップアップＰがディスプレイ１４に表示される。
　このように、色情報を利用することで、ユーザが意図する検索対象を、より適切に抽出することが出来る。
　図１６（Ａ），（Ｂ）を参照して、検索対象画像が抽出されている状態で、他の被写体を示す位置にタッチ操作がされると、相対位置関係が再検出され、検索対象画像が再抽出される。また、略同時に、新たにタッチされた分割領域Ｒに含まれる被写体にピントが合うようにＡＦ処理が行われる。たとえば、奥の花壇の花に対してタップ操作がされると、奥の花壇の花にピントが合わせられた状態になると共に、タップ操作がされた花の一部が検索対象画像として抽出される。
　図１７（Ａ），（Ｂ）を参照して、検索対象画像に対してタップ操作がされると、検索対象の選択が解除されプレビュー画像の色がグレースケールではなくなる。つまり、カメラ画面が、検索対象が抽出される前の状態に戻る。このように、ユーザは、検索対象画像を誤って選択してしまっても、その選択を解除することが出来る。なお、選択対象画像の選択が解除された後に、同じ分割領域Ｒ内にタッチされた場合は、色情報によって領域を選択するときの閾値などの抽出条件を変更して、検索対象画像が抽出される。
　次に、顔検出処理を利用して検索対象画像を抽出する処理について説明する。図１８（Ａ）－（Ｃ）を参照して、プレビュー画像に対してタップ操作がされると、第１実施例と同様、抽出範囲が設定される。そして、設定された抽出範囲に対して顔検出処理が実行され、顔が検出されれば、検出された顔が検索対象画像として抽出される。そして、検索対象画像が抽出された状態でシャッターキーが操作されると画像検索処理が実行され、検索結果ポップアップＰがディスプレイ１４に表示される。このように、顔検出処理を利用することで、ユーザが意図する検索対象を、より適切に抽出することが出来る。
　また、図１８（Ｃ）に示すように、検索結果ポップアップＰにカーソルＣが含まれている場合、複数の検索結果が取得されたことが示される。図１９（Ａ），（Ｂ）を参照して、カーソルＣに対してタップ操作がされると、検索結果ポップアップＰに表示される検索結果が切り替わる。つまり、複数の検索結果が取得された場合、ユーザは複数の検索結果のそれぞれを確認することが出来る。なお、元（前）の検索結果を表示させる場合は、左側に表示されているカーソルＣに対してタップ操作をすればよい。また、３つ以上の検索結果が取得されている場合は、次の検索結果を表示するためのカーソルＣが、検索結果ポップアップＰの右側に表示される。
　また、図１９（Ａ）に示す検索結果はデータサーバ１０２から取得されたものである。たとえば、人間の顔の画像が検索対象画像として抽出された場合、その人間の顔がデータサーバ１０２のデータベースから検索される。この場合、その人間の顔が写る写真がアップロードされているＳＮＳのページ（ＨＰ）のＵＲＬが検索結果として取得されることがある。そのため、図１９（Ａ）に示す検索結果では、ＳＮＳのページ（ＨＰ）の名称およびＵＲＬが検索結果として表示されている。このように、ユーザは、データサーバ１０２上に記憶されるデータベースに対して画像検索を行うことが出来る。
　なお、データサーバの１０２のデータベースから情報を検索する際には、Ｙａｈｏｏ！（登録商標）やＧｏｏｇｌｅ（登録商標）などの検索サイトが利用されてもよい。また、検索サイトによって検索結果を取得した場合、最上位に示された検索結果が検索結果ポップアップＰに表示される。また、複数の検索サイトから検索可能な状態であれば、セマンティック検索に対応している検索サイトで検索が行われるように設定されていてもよい。
　また、図１９（Ｂ）に示す検索結果はフラッシュメモリ４４から取得されたものである。たとえば、フラッシュメモリ４４に記憶されるアドレス帳データにおいて、画像が関連付けられたアドレスデータがある場合、そのアドレスデータも検索対象となる。そして、ここでは検索対象画像に含まれる顔とアドレスデータに関連づけられた画像に含まれる顔との関連性が高ければ、そのアドレスデータが検索結果として取得される。そのため、図１９（Ｂ）に示す検索結果では、アドレスデータに含まれる、名前、メールアドレスおよび登録されている画像が検索結果として表示されている。つまり、携帯電話機１０のフラッシュメモリ４４に記憶されているデータベースに対して画像検索を行うことが出来る。
　上述では第２実施例の特徴を概説した。以下では、図２０に示すフロー図を用いて、第２実施例について詳細に説明する。
　図２１は、第２実施例のカメラ機能処理の一部のフロー図である。なお、第２実施例のカメラ機能処理では、ステップＳ１－Ｓ２１およびステップＳ２５－Ｓ３１の処理は略同じであるため、詳細な説明は省略する。
　第２実施例のカメラ機能処理が実行されると、プロセッサ３０はステップＳ１－Ｓ２１の処理を実行する。また、ステップＳ２１の処理で抽出範囲が設定されると、プロセッサ３０はステップＳ９１で、顔検出処理を実行する。つまり、抽出範囲に顔が含まれているかを判断するために、抽出範囲に対して顔検出処理が実行される。続いて、ステップＳ９３でプロセッサ３０は、顔が検出されたか否かを判断する。つまり、抽出範囲で顔が検出され、かつ検出された顔にタッチ位置が含まれているかが判断される。
　ステップＳ９３で“ＮＯ”であれば、つまり顔が検出されていなければ、ステップＳ９５でプロセッサ３０は、タッチ位置の色情報に基づいて検索対象画像を抽出する。たとえば、図１５（Ａ）に示すようにタップ操作がされた場合、タップされた花の色に基づいて領域が選択される。そして、選択された領域から、検索対象画像が抽出される。なお、顔が検出されていた場合であっても、その顔にタッチ位置が含まれていなければ、ステップＳ９３では“ＮＯ”と判断される。
　また、ステップＳ９３で“ＹＥＳ”であれば、つまり顔が検出され、かつその顔にタッチ操作がされていれば、検出された顔に基づいて検索対象画像を抽出する。たとえば、図１８（Ａ）のように人間の顔にタップ操作がされた場合、その顔が検出されるため、検出された顔が検索対象画像として抽出される。
　そして、ステップＳ９５またはステップＳ９７の処理で抽出された検索対象画像は、検索対象画像バッファ３３６に記憶される。また、ステップＳ９５またはステップＳ９７の処理が終了すれば、プロセッサ３０はステップＳ２５の処理に進む。なお、ステップＳ９５またはステップ９７の処理を実行するプロセッサ３０は抽出部として機能する。
　なお、フラッシュメモリ４４に記憶される撮影画像から検索対象画像を抽出して画像検索を行ってもよい。たとえば、閲覧機能が実行され、フラッシュメモリ４４に記憶されている撮影画像の一覧がサムネイル表示されているときに、任意の撮影画像が選択されると撮影画像データおよび対応するメタデータが読み出される。この状態で、撮影画像に写る任意の被写体に対してタップ操作がされると、メタデータに含まれる相対位置関係テーブルに基づいて抽出範囲が設定され、検索対象画像が抽出される。そして、検索対象画像が抽出されると、上述したように画像検索が行われ、検索結果が表示される。
　また、レンズ５４は、複数のズーム用のレンズおよび複数のフォーカス用のレンズから構成されていてもよい。この場合、フォーカス用のレンズのレンズ位置を変更させることで、焦点距離ｆを変化させずにピントを合わせることが可能である。そして、このような場合は、相対位置関係テーブルには、焦点距離ｆに代えてフォーカス用のレンズ位置が記憶されてもよい。
　また、被写体までの距離を推定または測定することが出来る場合は、上述した焦点距離ｆに代えて被写体までの距離が相対位置関係テーブルに記憶されてもよい。
　また、図示は省略するが、複数の被写体に対してマルチタッチ操作を行うことで、複数の検索対象画像が抽出される。また、他の実施例では、複数の検索対象画像が選択された場合、選択された検索対象画像において最も手前の被写体と最も奥の被写体との間に存在する被写体も検索対象画像として抽出されてもよい。つまり、他の実施例では、複数の抽出範囲に基づいて定められる焦点距離の範囲に含まれる、複数の抽出範囲の全てが選択される。たとえば、奥行きを持つ被写体を撮影した場合、被写体の手前の部分をタップ操作すると、被写体の手前の部分だけが検索対象画像として抽出されてしまう。そこで、手前の部分と奥の部分との２ヶ所にマルチタッチ操作を行うと、被写体全体をまとめて検索対象画像として抽出することができる。したがって、他の実施例では、ユーザが検索対象画像を抽出するときの操作が簡略化される。
　また、タップ操作ではなく、任意の領域を囲うようスライド操作がされたときに、その任意の領域から検索対象画像が抽出されてもよい。
　また、フラッシュメモリ４４に記憶されるデータベースには、アドレス帳データおよび撮影画像以外のデータが含まれていてもよい。
　また、その他の実施例では、検索対象画像を抽出せずにシャッターキーが操作された場合、プレビュー画像の全体が検索対象画像として抽出され、画像検索処理が実行されてもよい。
　また、さらにその他の実施例では、携帯電話機１０がＴＶ放送を表示可能な場合、任意のシーンをキャプチャーし、そのキャプチャーした画像から検索対象画像を抽出して画像検索を行ってもよい。
　また、本実施例では、検索結果をディスプレイ１４に表示していたが、さらにその他の実施例はスピーカ１８から音声によって出力されてもよいし、他の端末またはＰＣなどに転送され、他の端末またはＰＣから出力（表示も含む）されてもよい。
　また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray　Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。
　そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
　この発明は、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
　第１の発明の一態様は、カメラモジュールおよび表示部を有する、携帯端末であって、カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する検出部、相対位置関係に基づいて、画像から検索対象画像を抽出する抽出部、検索対象画像に基づき所定の情報を検索する検索部、および検索部により検索された検索結果を出力する出力部を備える、携帯端末である。
　第１の発明の一態様では、携帯端末（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）のカメラモジュール（５０－５４）は画像を出力する。たとえば、その画像が取得され、表示部（１４）には取得された画像に基づくプレビュー画像が表示される。検出部（３０，Ｓ１９）は、たとえばユーザが被写体を選択する操作を行ったときに、カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する。抽出部（３０，Ｓ２３，Ｓ９５，Ｓ９７）は、たとえばユーザによって選択された被写体が含まれるように、検出された相対位置関係に基づいて、取得された画像から検索対象画像を抽出する。検索部（３０，Ｓ３１）は、検索対象画像に基づいて、たとえばその検索対象画像と関連する所定の情報を検索する。出力部（３０，Ｓ６３）は、たとえば表示部に検索結果を出力し、検索結果は表示部に表示される。
　第１の発明の一態様によれば、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来るため、画像検索の検索精度を向上させることが出来る。
　第２の発明の一態様は、第１の発明に従属し、カメラモジュールから取得された画像が表示されているとき、検索対象画像を抽出する抽出操作を受け付ける第１受付部をさらに備え、検出部は、第１受付部が抽出操作を受け付けたとき、相対位置関係を検出する。
　第２の発明の一態様では、第１受付部（３０，Ｓ１３）は、たとえばプレビュー画像に対して被写体を選択する操作がされると、その操作を抽出操作として受け付ける。そして、抽出操作を受け付けたとき、検出部は、被写体どうしの相対位置関係を検出する。
　第２の発明の一態様によれば、ユーザは撮影中に興味を持った被写体について、画像検索を行うことが出来る。
　第３の発明の一態様は、第２の発明に従属し、タッチパネルをさらに備え、第１受付部は、タッチパネルに対するタッチ操作を抽出操作として受け付け、抽出部は、タッチ操作に基づいて、画像から検索対象画像を抽出する。
　第３の発明の一態様では、たとえば、表示部の上にはタッチ操作を検出するタッチパネル（１６）が設けられる。第１受付部は、たとえばプレビュー画像に対するタッチ操作を抽出操作として受け付ける。そのため、プレビュー画像に対してタッチ操作がされると、検索対象画像が抽出される。
　第３の発明の一態様によれば、ユーザはタッチパネルに対する直感的な操作で、検索対象を指定して画像検索を容易に行うことが出来る。
　第４の発明の一態様は、第１の発明に従属し、相対位置関係に基づいて、カメラモジュールから取得された画像に対して抽出範囲を設定する設定部をさらに備え、抽出部は、抽出範囲に基づいて、画像から検索対象画像を抽出する。
　第４の発明の一態様では、たとえば、プレビュー画像は複数の分割領域（Ｒ）に分割され、ユーザから任意の分割領域が指定されたとき、設定部（３０，Ｓ２１）は、指定された分割領域と、その分割領域に含まれる被写体と同じ位置（距離）に存在する被写体が含まれる分割領域とを抽出範囲として設定する。たとえば、抽出部は、抽出範囲内の画像を検索対象画像として抽出する。
　第４の発明の一態様によれば、抽出範囲を設定することで、ユーザは抽出される検索対象画像を把握することが出来る。
　第５の発明の一態様は、第１の発明に従属し、カメラモジュールは、レンズを含み、検出部は、レンズの焦点距離を利用して、カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する。
　第５の発明の一態様では、カメラモジュールはレンズ（５４）を含む。たとえば、レンズをテレ端からワイド端に移動させたときのレンズの焦点距離を利用して、検出部は、被写体どうしの相対位置関係を検出する。
　第５の発明の一態様によれば、レンズの焦点距離を利用して相対位置関係を検出することが可能であるため、カメラモジュールを備える既存の携帯端末であってもソフトウェアを更新または追加することで、被写体どうしの相対位置関係を検出できるようになる。
　第６の発明の一態様は、第１の発明に従属し、検索対象画像を変更する変更操作を受け付ける第２受付部をさらに備え、検出部は、第２受付部が変更操作を受け付けたとき、相対位置関係を再検出し、抽出部は、第２受付部が変更操作を受け付けたとき、当該変更操作および再検出された相対位置関係に基づいて、カメラモジュールから取得された画像から他の検索対象画像を抽出する。
　第６の発明の一態様では、第２受付部（３０，Ｓ２５）は、たとえば他の検索対象を指定する操作を、変更操作として受け付ける。変更操作がされると、被写体どうしの相対位置関係が再検出される。そして、再検出された相対位置関係に基づいて、取得された画像から他の検索対象画像を抽出する。
　第６の発明の一態様によれば、ユーザは、検索対象を誤って選択したとしても、任意に変更することが出来る。
　第７の発明の一態様は、第１の発明に従属し、検索部による検索結果が複数あるとき、出力される検索結果の切替操作を受け付ける第３受付部、および第３受付部が切り替え操作を受け付けたとき、出力される検索結果を切り替える切替部をさらに備える。
　第７の発明の一態様では、複数の検索結果が出力された場合、第３受付部（３０，Ｓ６７）は、出力する検索結果を切り替える切替操作を受け付ける。切替部（３０，Ｓ６９）は、切替操作を受け付けたとき、出力される検索結果を切り替える。
　第７の発明の一態様によれば、複数の検索結果が取得された場合、ユーザは複数の検索結果のそれぞれを確認することが出来る。
　第８の発明の一態様は、第１の発明に従属し、抽出部は、色情報に基づいて検索対象画像を抽出する。
　第８の発明の一態様では、たとえば、検索対象を指定するタッチ操作がされたとき、タッチ位置の色情報と略同じ色の範囲が選択される。抽出部は、その領域から検索対象画像を抽出する。
　第８の発明の一態様によれば、色情報を利用することで、ユーザが意図する検索対象を、より適切に抽出することが出来る。
　第９の発明の一態様は、第１の発明に従属し、抽出部は、顔検出を利用して検索対象画像を抽出する。
　第９の発明の一態様では、たとえばタッチされた周辺のプレビュー画像に対して顔検出処理を実行し、顔が検出されれば、検出された顔の画像が検索対象画像として抽出される。
　第９の発明の一態様によれば、顔検出処理を利用することで、ユーザが意図する検索対象を、より適切に抽出することが出来る。
　第１０の発明の一態様は、第１の発明に従属し、検索部は、検索対象画像についての検索結果を、ネットワーク上のサーバに記憶されるデータベースから出力する。
　第１０の発明の一態様では、ネットワーク上のサーバ（１０２）に記憶されるデータベースから、検索対象画像についての検索結果が出力される。
　第１０の発明の一態様によれば、ユーザは、サーバ上に記憶されるデータベースに対して画像検索を行うことが出来る。
　第１１の発明の一態様は、第１の発明に従属し、データベースを記憶する記憶部をさらに備え、検索部は、検索対象画像についての検索結果を、記憶部に記憶されるデータベースから出力する。
　第１１の発明の一態様では、記憶部（４４）に記憶されるデータベースから、検索対象画像についての検索結果が出力される。
　第１１の発明の一態様によれば、携帯端末の記憶部に記憶されているデータベースに対して画像検索を行うことが出来る。
　第１２の発明の一態様は、カメラモジュール（５０－５４）および表示部（１４）を有する、携帯端末（１０）における画像検索方法であって、携帯端末のプロセッサ（３０）が、カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する検出ステップ（Ｓ１９）、相対位置関係に基づいて、画像から検索対象画像を抽出する抽出ステップ（Ｓ２３，Ｓ９５，Ｓ９７）、検索対象画像に基づき所定の情報を検索する検索ステップ（Ｓ３１）、および検索ステップにより検索された検索結果を出力する出力ステップ（Ｓ６３）を実行する、画像検索方法である。
　第１２の発明の一態様でも、第１の発明と同様、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来るため、画像検索の検索精度を向上させることが出来る。
　１０　携帯電話機、１４　ディスプレイ、１６　タッチパネル、３０　プロセッサ、４４　フラッシュメモリ、４６　ＲＡＭ、４８　タッチパネル制御回路、５０　カメラ制御回路、５２　イメージセンサ、５４　レンズ、１００　ネットワーク、１０２　データサーバ。

Claims (12)

  1. 　カメラモジュールおよび表示部を有する、携帯端末であって、
    　前記カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する検出部、
    　前記相対位置関係に基づいて、前記画像から検索対象画像を抽出する抽出部、
    　前記検索対象画像に基づき所定の情報を検索する検索部、および
    　前記検索部により検索された検索結果を出力する出力部を備える、携帯端末。
  2. 　前記カメラモジュールから取得された画像が表示されているとき、検索対象画像を抽出する抽出操作を受け付ける第１受付部をさらに備え、
    　前記検出部は、前記第１受付部が抽出操作を受け付けたとき、前記相対位置関係を検出する、請求項１に記載の携帯端末。
  3. 　タッチパネルをさらに備え、
    　前記第１受付部は、前記タッチパネルに対するタッチ操作を抽出操作として受け付け、
    　前記抽出部は、前記タッチ操作に基づいて、画像から検索対象画像を抽出する、請求項２に記載の携帯端末。
  4. 　前記相対位置関係に基づいて、前記カメラモジュールから取得された画像に対して抽出範囲を設定する設定部をさらに備え、
    　前記抽出部は、前記抽出範囲に基づいて、前記画像から検索対象画像を抽出する、請求項１に記載の携帯端末。
  5. 　前記カメラモジュールは、レンズを含み、
    　前記検出部は、前記レンズの焦点距離を利用して、前記カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する、請求項１に記載の携帯端末。
  6. 　検索対象画像を変更する変更操作を受け付ける第２受付部をさらに備え、
    　前記検出部は、前記第２受付部が変更操作を受け付けたとき、前記相対位置関係を再検出し、
    　前記抽出部は、前記第２受付部が変更操作を受け付けたとき、当該変更操作および再検出された相対位置関係に基づいて、前記カメラモジュールから取得された画像から他の検索対象画像を抽出する、請求項１に記載の携帯端末。
  7. 　前記検索部による検索結果が複数あるとき、出力される検索結果の切替操作を受け付ける第３受付部、および
    　前記第３受付部が切り替え操作を受け付けたとき、出力される検索結果を切り替える切替部をさらに備える、請求項１に記載の携帯端末。
  8. 　前記抽出部は、色情報に基づいて検索対象画像を抽出する、請求項１に記載の携帯端末。
  9. 　前記抽出部は、顔検出を利用して検索対象画像を抽出する、請求項１に記載の携帯端末。
  10. 　前記検索部は、前記検索対象画像についての検索結果を、ネットワーク上のサーバに記憶されるデータベースから出力する、請求項１に記載の携帯端末。
  11. 　データベースを記憶する記憶部をさらに備え、
    　前記検索部は、前記検索対象画像についての検索結果を、前記記憶部に記憶されるデータベースから出力する、請求項１に記載の携帯端末。
  12. 　カメラモジュールおよび表示部を有する、携帯端末における画像検索方法であって、前記携帯端末のプロセッサが、
    　前記カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する検出ステップ、
    　前記相対位置関係に基づいて、前記画像から検索対象画像を抽出する抽出ステップ、
    　前記検索対象画像に基づき所定の情報を検索する検索ステップ、および
    　前記検索ステップにより検索された検索結果を出力する出力ステップを実行する、画像検索方法。
PCT/JP2014/073901 2013-09-13 2014-09-10 携帯端末および画像検索方法 WO2015037607A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/068,406 US20160196284A1 (en) 2013-09-13 2016-03-11 Mobile terminal and method for searching for image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-190223 2013-09-13
JP2013190223A JP6403368B2 (ja) 2013-09-13 2013-09-13 携帯端末、画像検索プログラムおよび画像検索方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/068,406 Continuation US20160196284A1 (en) 2013-09-13 2016-03-11 Mobile terminal and method for searching for image

Publications (1)

Publication Number Publication Date
WO2015037607A1 true WO2015037607A1 (ja) 2015-03-19

Family

ID=52665709

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/073901 WO2015037607A1 (ja) 2013-09-13 2014-09-10 携帯端末および画像検索方法

Country Status (3)

Country Link
US (1) US20160196284A1 (ja)
JP (1) JP6403368B2 (ja)
WO (1) WO2015037607A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077239A (zh) * 2015-05-29 2017-08-18 华为技术有限公司 通过触控板调节移动终端拍照焦距的方法和移动终端

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866194B (zh) * 2015-05-21 2018-07-13 百度在线网络技术（北京）有限公司 图片搜索方法及装置
KR20170017572A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
US10083238B2 (en) * 2015-09-28 2018-09-25 Oath Inc. Multi-touch gesture search
JP6440604B2 (ja) * 2015-09-29 2018-12-19 富士フイルム株式会社 被写体評価システム，被写体評価方法，被写体評価プログラムおよびそのプログラムを格納した記録媒体
US11144750B2 (en) * 2019-02-28 2021-10-12 Family Concepts Ii, Llc Association training related to human faces
JP7082426B2 (ja) * 2020-01-31 2022-06-08 株式会社写真化学 画像処理装置および画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236008A (ja) * 2007-06-18 2007-09-13 Fujifilm Corp 画像表示器付きカメラ
JP2009272931A (ja) * 2008-05-08 2009-11-19 Olympus Corp 撮像装置及び情報提供システム
JP2011034127A (ja) * 2009-07-29 2011-02-17 Sony Corp 画像検索装置、画像検索方法及び画像検索プログラム
JP2013046343A (ja) * 2011-08-26 2013-03-04 Sharp Corp 画像撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634336B2 (en) * 2005-12-08 2009-12-15 Electronics And Telecommunications Research Institute Localization system and method of mobile robot based on camera and landmarks
US9077890B2 (en) * 2011-02-24 2015-07-07 Qualcomm Incorporated Auto-focus tracking
JP5714452B2 (ja) * 2011-08-29 2015-05-07 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
CN103135889B (zh) * 2011-12-05 2017-06-23 Lg电子株式会社 移动终端及其3d图像控制方法
US8891907B2 (en) * 2011-12-06 2014-11-18 Google Inc. System and method of identifying visual objects
JPWO2013084422A1 (ja) * 2011-12-08 2015-04-27 日本電気株式会社 情報処理装置、通信端末、情報検索方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236008A (ja) * 2007-06-18 2007-09-13 Fujifilm Corp 画像表示器付きカメラ
JP2009272931A (ja) * 2008-05-08 2009-11-19 Olympus Corp 撮像装置及び情報提供システム
JP2011034127A (ja) * 2009-07-29 2011-02-17 Sony Corp 画像検索装置、画像検索方法及び画像検索プログラム
JP2013046343A (ja) * 2011-08-26 2013-03-04 Sharp Corp 画像撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077239A (zh) * 2015-05-29 2017-08-18 华为技术有限公司 通过触控板调节移动终端拍照焦距的方法和移动终端

Also Published As

Publication number Publication date
JP6403368B2 (ja) 2018-10-10
JP2015056102A (ja) 2015-03-23
US20160196284A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP6403368B2 (ja) 携帯端末、画像検索プログラムおよび画像検索方法
US9632681B2 (en) Electronic Device, memory and control method for displaying multiple objects on a display screen
EP3076659B1 (en) Photographing apparatus, control method thereof, and non-transitory computer-readable recording medium
KR101636460B1 (ko) 전자 장치 및 그 제어 방법
JP5848932B2 (ja) 携帯端末、フォルダ管理プログラムおよびフォルダ管理方法
US9819871B2 (en) Method of executing fast association function of camera and portable device including the same
KR101432177B1 (ko) 휴대용 장치 및 그 사진처리방법, 이를 포함하는사진처리시스템
US10222903B2 (en) Display control apparatus and control method thereof
US20140292649A1 (en) Method and device for switching tasks
US20200210061A1 (en) Method, device and storage medium for sharing multimedia resource
US9582172B2 (en) Display control apparatus and method, image display apparatus, and non-transitory computer readable medium
RU2607476C1 (ru) Способ и устройство для работы с приложением для телевизора
KR20110107143A (ko) 멀티 입력을 이용한 휴대단말의 기능 제어 방법 및 장치
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
JP2016521418A (ja) オブジェクトが挿入された画像を生成して編集する方法及びその装置
KR20140146884A (ko) 휴대 장치에 의해 촬영된 이미지들을 편집하는 방법 및 이를 위한 휴대 장치
JP6010376B2 (ja) 電子機器，選択プログラムおよび方法
KR20120026458A (ko) 데이터 관리 장치, 데이터 관리 방법 및 기록 매체
JP2015088774A (ja) カメラ装置、画像処理プログラムおよび画像処理方法
JP2015065616A (ja) 撮像装置、触覚情報出力プログラムおよび触覚情報出力方法
JP2013041348A (ja) 携帯端末、補助情報表示プログラムおよび補助情報表示方法
JP7204514B2 (ja) 画像出力装置およびその制御方法、プログラム
US20150355780A1 (en) Methods and systems for intuitively refocusing images
JP2015192362A (ja) 画像再生装置，画像再生方法およびその制御プログラム
KR20140142523A (ko) 시각 효과 적용을 위한 촬영 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14843260

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14843260

Country of ref document: EP

Kind code of ref document: A1