WO2007077614A1 - Ｔｖ電話機能の撮影画像処理切り替え装置 - Google Patents

Ｔｖ電話機能の撮影画像処理切り替え装置 Download PDF

Info

Publication number
WO2007077614A1
WO2007077614A1 PCT/JP2005/024127 JP2005024127W WO2007077614A1 WO 2007077614 A1 WO2007077614 A1 WO 2007077614A1 JP 2005024127 W JP2005024127 W JP 2005024127W WO 2007077614 A1 WO2007077614 A1 WO 2007077614A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
camera shake
image
handheld
mobile terminal
Prior art date
Application number
PCT/JP2005/024127
Other languages
English (en)
French (fr)
Inventor
Takashi Ueki
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to PCT/JP2005/024127 priority Critical patent/WO2007077614A1/ja
Priority to JP2007552835A priority patent/JP4448177B2/ja
Priority to CN2005800524379A priority patent/CN101346990B/zh
Priority to KR1020087017160A priority patent/KR101006668B1/ko
Publication of WO2007077614A1 publication Critical patent/WO2007077614A1/ja
Priority to US12/163,479 priority patent/US8063938B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333—Mode signalling or mode changing; Handshaking therefor
    • H04N1/33376—Mode signalling or mode changing; Handshaking therefor according to characteristics or state of one of the communicating parties, e.g. available memory capacity
    • H04N1/33384—Mode signalling or mode changing; Handshaking therefor according to characteristics or state of one of the communicating parties, e.g. available memory capacity according to transient characteristics or state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096—Portable devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333—Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33314—Mode signalling or mode changing; Handshaking therefor of a particular mode of reading or reproducing mode

Definitions

  • the present invention relates to a mobile terminal with a ⁇ telephone function, and more particularly to a captured image processing switching device that controls image processing of a captured image captured by a camera included in the mobile terminal.
  • a typical function is the video phone function.
  • a mobile phone with a video phone function is designed with a video phone function (for example, an optical system such as a camera) on the premise that the user will hold the mobile device in his hand and face it close to his face. ing.
  • a video phone function for example, an optical system such as a camera
  • a camera using a standard or wide-angle optical system having an angle of view of, for example, 40 degrees or more is used in order to photograph a nearby face with an appropriate size. Therefore, if the mobile terminal and the face (photographing target) are photographed at a distance, the ratio of the face to the person on the photographing screen, S, is almost always reduced.
  • Patent Document 1 relates to a screen display control device for a video conference terminal that displays a person image appropriately by reliably detecting a person and displaying an easy-to-see screen even when the person moves. It is disclosed!
  • Patent Document 2 describes a high-quality camera shake correction function while ensuring sufficient cutout position accuracy. An imaging apparatus that achieves the above has been disclosed.
  • Patent Document 3 is a mobile phone equipped with a function for preventing the image from shaking when a hand shake or the like occurs and a function for switching the display to a captured image of an object so that the user can recognize the inappropriateness of the captured image.
  • Information terminal devices are disclosed!
  • Patent Document 1 Japanese Patent Laid-Open No. 10-051755
  • Patent Document 2 JP-A-11-266391
  • Patent Document 3 Japanese Unexamined Patent Publication No. 2000-156849
  • the present invention has been made in view of the above-described problems, and the problem to be solved is a TV that reduces power consumption by providing only optimal functions according to the state of the mobile terminal.
  • a photographed image processing switching device with a telephone function is provided.
  • a captured image processing switching device recognizes an object to be captured in a captured image obtained by a camera included in the mobile terminal in a mobile terminal with a TV telephone function, and performs the recognition.
  • a predetermined range including the photographed object and an image clipping means for performing an image clipping process to be transmitted to a communication partner using the TV phone function, and detecting that the portable terminal is in a hand-held state during communication using the TV phone function
  • the image clipping process by the image clipping unit is stopped, and when the portable terminal is not in the handheld state, the image clipping process by the image clipping unit is executed.
  • a switching means is executed.
  • the switching means stops the image clipping process by the image clipping means when the state force of the portable terminal detected by the handheld detection means is in the handheld state, and the image clipping means when not in the handheld state.
  • the image cutout process is performed.
  • the image clipping process is performed only when the portable terminal needs the image clipping process.
  • the shooting target recognized by the image clipping unit is, for example, a human face.
  • FIG. 1 is a diagram illustrating the principle of the present invention.
  • FIG. 2 is a diagram showing a configuration of a main part of a mobile terminal that realizes a captured image switching device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart showing processing of the mobile terminal according to the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating the state of the mobile terminal according to the embodiment of the present invention and the captured images in each state.
  • FIG. 1 is a diagram illustrating the principle of the present invention.
  • the photographed image processing switching device 10 shown in FIG. 1 cuts out a predetermined range including a photographed image power obtained by photographing with a camera included in a mobile terminal with a videophone function (hereinafter referred to as “mobile terminal”).
  • Image cut-out means 11 to be transmitted to the communication partner hand-held state detection means 12 for detecting a state in which the user holds the mobile terminal in hand (hereinafter referred to as “hand-held state”), and hand-held state detection means 12 It comprises at least switching means 13 for switching valid / invalid of image cropping means 11 according to the state of the mobile terminal to be detected!
  • the switching unit 13 stops the image cutout process of the image cutout unit 11 when the state of the mobile terminal detected by the handheld state detection unit 12 is the handheld state. Further, the switching means 13 causes the image clipping means 11 to execute image clipping processing when the state of the portable terminal detected by the handheld state detection means 12 is not in the handheld state.
  • the photographed image processing switching device 10 shown in FIG. 1 further includes camera shake prevention means 14 for detecting a camera shake of the mobile terminal and correcting the photographed image.
  • the switching means 13 executes camera shake correction processing of the captured image on the camera shake preventing means 14 when the state of the mobile terminal detected by the hand holding state detecting means 12 is the handheld state. Let Further, the switching unit 13 stops the camera shake correction processing of the captured image by the camera shake preventing unit 14 when the state of the mobile terminal detected by the handheld state detecting unit 12 is not the handheld state.
  • FIG. 2 shows a configuration of a main part of the mobile terminal 20 that realizes the captured image switching device 10 according to the embodiment of the present invention.
  • a mobile terminal 20 shown in FIG. 2 includes a camera (or an image sensor such as a charge coupled device (CCD)) 21 that captures a subject, a driver 22 that drives the camera 21, and an acceleration sensor that detects camera shake of the mobile terminal 20. 23, a driver 24 for driving the acceleration sensor 23, a face recognition processing unit 25 for recognizing a person's face from the captured image generated by the force camera 21, and a person's face recognized by the face recognition processing unit 25.
  • a camera or an image sensor such as a charge coupled device (CCD)
  • CCD charge coupled device
  • a face extraction processing unit 26 that cuts out a predetermined range including a captured image, a camera shake prevention processing unit 27 that corrects camera shake based on the amount of camera shake, and an image that is applied to the captured image according to the state of the mobile terminal 20
  • Switching control unit 28 for switching processing face cutout processing Z camera shake prevention processing
  • encoder 29 for encoding a shot image after face cutout processing or camera shake correction processing into a predetermined protocol
  • encoded shot image Data hereinafter, “display image” t
  • display image t
  • the video phone control unit 30 transmits the display image and audio data to the communication partner via the data communication unit 31.
  • a data communication unit 31 that transmits display image and audio data to a communication partner.
  • the mobile terminal 20 naturally includes a CPU (Central Processing Unit) and a non-volatile Z volatile memory (for example, RAM or EEPROM).
  • CPU Central Processing Unit
  • non-volatile Z volatile memory for example, RAM or EEPROM
  • the captured image generated by the camera 21 is input to the face recognition processing unit 25 and the camera shake prevention processing unit 27.
  • the face recognition processing unit 25 recognizes a person's face from the image recorded in the photographed image.
  • a predetermined range for example, a range in which a bust shot can be obtained
  • the face recognition processing unit 25 and the cutout processing unit 26 convert the captured image into, for example, a bust shot image.
  • the facial expression of the person being photographed can be recognized as a crisp.
  • the camera shake prevention processing unit 27 corrects the photographed image by calculating the amount of camera shake of the sensor value force of the acceleration sensor 23. Therefore, the corrected photographed image removes the blur of the subject image caused by the camera shake of the mobile terminal 20.
  • the switching control unit 28 detects (discriminates) the state of the mobile terminal 20 (a state in which the handheld state Z is not in the handheld state) from the acceleration obtained by the acceleration sensor 23. Then, the switching control unit 28 performs an image clipping process performed by the face recognition processing unit 25 and the face clipping processing unit 26 and a camera shake preventing process performed by the camera shake preventing processing unit 27 according to the state of the mobile terminal 20. Are controlled exclusively.
  • the camera shake prevention processing by the camera shake prevention processing unit 27 is stopped, and the image cutout processing by the face recognition processing unit 25 and the face cutout processing unit 26 is started. To do. Then, the photographed image subjected to the image cut-out process is output to the encoder 29.
  • the image segmentation processing by the face recognition processing unit 25 and the face segmentation processing unit 26 is stopped, and the camera shake prevention processing by the camera shake prevention processing unit 27 is started. . Then, the captured image subjected to the camera shake prevention process is output to the encoder 29.
  • the encoder 29 converts the input captured image into MPEG-4 (Moving
  • the videophone control unit 30 transmits the encoded data to the communication partner via the data communication unit 31. If necessary, the image is output to the decode 33 and displayed on a display unit of a portable terminal (not shown).
  • the hand-held state detection unit 12 and the switching unit 13 are realized by the acceleration sensor 23, the driver 24, and the switching control unit 28.
  • the camera shake preventing means 14 is realized by the acceleration sensor 23, the driver 24, and the camera shake preventing processing unit 27.
  • FIG. 3 is a flowchart showing processing of the mobile terminal 20 according to the embodiment of the present invention.
  • the switching control unit 28 determines the state of the portable terminal 20 (whether or not it is a handheld state force) from the acceleration value of the acceleration sensor 23. For example, a predetermined acceleration value is set as a threshold value in advance, and when the acceleration detected by the acceleration sensor 23 is equal to or less than the threshold value, it is determined that the mobile terminal 20 is in a handheld state. Is determined not to be in hand-held condition. Then, the switching control unit 28 moves the process to step S302.
  • step S302 if the detection result in step S301 is in the handheld state, the switching control unit 28 proceeds to step S303, and if the detection result in step S301 is not in the handheld state, Then, the process proceeds to step S305.
  • the switching control unit 28 includes a determination processing mode used when determining the state of the mobile terminal 20, and an image processing mode used when selecting image processing for a captured image. Have.
  • the determination processing mode includes a hand-held mode indicating that the mobile terminal 20 is in a hand-held state, a semi-hand-held mode indicating that the handheld state is detected, but the mobile terminal 20 is in a hand-held state. It consists of three modes, fixed mode, indicating that it is fixed.
  • the image processing mode includes a hand-held mode indicating that the mobile terminal 20 is determined to be in a hand-held state from each mode of the determination processing mode, and the mobile terminal 20 is not in a hand-held state (fixed).
  • a hand-held mode indicating that the mobile terminal 20 is determined to be in a hand-held state from each mode of the determination processing mode, and the mobile terminal 20 is not in a hand-held state (fixed).
  • step S303 the switching control unit 28 switches the determination mode to the handheld mode. Then, the process proceeds to step S304. Switch in step S304 The control unit 28 switches the image processing mode to the handheld mode.
  • step S305 when the current determination processing mode is the hand-held mode in step S305, the switching control unit 28 proceeds to step S306 and records the time.
  • the judgment processing mode is shifted to the semi-handheld mode.
  • step S305 when the current determination processing mode is not in the handheld mode, the switching control unit 28 shifts the processing to step S307.
  • the switching control unit 28 performs the process at step S3.
  • step S309 the switching control unit 28 checks whether or not the quasi-handheld mode has continued for a certain time. If the quasi-handheld mode has not elapsed for a fixed time, the process proceeds to step S310, and the current determination mode is continued (not changed).
  • step S309 if the quasi-handheld mode has passed a certain time, the switching control unit 28 proceeds to step S311 and changes the determination mode to the fixed mode. In step S312, the switching control unit 28 switches the image mode to the fixed mode.
  • the switching control unit 28 proceeds to step S313. Then, the image processing mode determined in steps S301 to S312 is checked. Thereafter, processing according to the image processing mode is performed.
  • step S313 the switching control unit 28 checks the image processing mode. If the image processing mode is the handheld mode, the process proceeds to step S314. If the image processing mode is the fixed mode, the process proceeds to step S316.
  • step S314 the camera shake prevention processing unit 27 acquires a sensor value (acceleration value) from the acceleration sensor 23. Then, the sensor value force shake amount is calculated. Note that the amount of camera shake according to the present embodiment is calculated by calculating the vertical and horizontal movement distances on the image sensor (for example, the CCD provided in the camera 21), and converting these movement distances into the number of pixels. did The value is used.
  • the camera shake prevention processing unit 27 moves the process to step S315.
  • step S315 the camera shake prevention processing unit 27 corrects the captured image based on the camera shake amount calculated in step S314.
  • a predetermined range centered on a position shifted in the vertical direction or the horizontal direction by the amount of camera shake from the center of the captured image is cut out, and a new captured image (photographed image with the camera shake corrected) is extracted. Is generated. If necessary, you can enlarge or reduce the new captured image.
  • the face recognition processing unit 25 recognizes the human face captured in the captured image and calculates the position and size of the face.
  • the face recognition process according to the present embodiment may be performed by specifying a human eye position (face position) after extracting a portion with high luminance and then specifying the face size based on the eye spacing. Therefore, after performing contour enhancement processing on the captured image, compare each of the prepared face shapes (contours) to identify the person's face.
  • the face recognition processing unit 25 moves the process to step S317.
  • step S317 the face cutout processing unit 26 calculates an image range to be a bust shot from the face position specified in step S316, cuts out the image, and creates a new captured image.
  • Captured image of a person's face is generated. If necessary, you can enlarge or reduce the new captured image.
  • the captured image that has been subjected to the camera shake correction process or the image cutout process described above is transmitted to the TV phone control unit 30 via the encoding 29. Then, the process proceeds to step S318.
  • step S318 the video phone control unit 30 performs data communication using the captured image subjected to the image stabilization processing in steps S314 to S315 or the image cutout processing in steps S316 to S317 as self-image data. Send to communication partner via part 31.
  • FIG. 4 is a diagram illustrating the state of the mobile terminal 20 according to the embodiment of the present invention and the captured images in each state.
  • Figure 4 shows the situation in hand-held mode (a), the captured image at that time (b), and camera shake correction processing.
  • the following photographed image (c), the situation (d) in the fixed mode, the photographed image (e) at that time, and the photographed image (f) after the image clipping process are shown.
  • the situation (a) in the hand-held mode shows the situation when the image processing mode shown in FIG. 3 is the hand-held mode. That is, the user 40 (or the subject 40, hereinafter referred to as the user 40 or the subject 40 if necessary) holds the mobile terminal 20 with his / her hand so that the mobile terminal 20 and his / her face keep a certain distance. Indicate the situation in which you communicate using the TV phone function!
  • the photographed image (b) shows an example of a photographed image (photographed image before the camera shake correction process) photographed when the image processing mode is the handheld mode. Since this photographed image (b) is a state in which the user is holding the mobile terminal 20 by hand (hand-held state), camera shake 42 (thick line shown on the outline of the subject 40) appears in the photographed image. Has occurred.
  • This photographed image (b) is subjected to a camera shake correction process by the camera shake prevention processing unit 27 to obtain a photographed image (c).
  • the photographed image (c) is a photographed image after the camera shake correction process, and shows a photographed image sent to the communication partner via the encode 29, the videophone control unit 30, and the data communication unit 31.
  • the camera shake 42 that has occurred in the contour portion of the subject 40 is removed.
  • the situation (d) in the fixed mode shows the situation when the image processing mode shown in FIG. 3 is the fixed mode. That is, the mobile terminal 20 is fixed on a desk or the like, and the mobile phone 20 and the person's face keep a certain distance so that the communication by the videophone function is performed. At this time, the distance between the portable terminal 20 and the subject 40 is larger than when the image processing mode is the handheld mode.
  • the captured image (e) shows an example of a captured image (captured image before image cut-out processing) captured when the image processing mode is the fixed mode.
  • this captured image (e) the distance between the mobile terminal 20 and the subject 40 is larger than when the image processing mode is in the handheld mode (handheld state)! The percentage of the face is small.
  • the photographed image (e) is subjected to image segmentation processing by the face recognition processing unit 25 and the face segmentation processing unit 26 to obtain a photographed image (f).
  • This captured image (f) This is a photographed image after processing, and shows a photographed image sent to the communication partner via the encode 29, the videophone control unit 30, and the data communication unit 31.
  • This photographed image (f) is a bust shot of the subject 40 photographed in the photographed image (e).
  • the sensor value force of the acceleration sensor 23 is also detected by the switching control unit 28 in the state of the mobile terminal 20. Then, when the mobile terminal 20 is in a handheld state, the camera shake correction processing by the camera shake prevention processing unit 27 is started for the captured image taken by the camera 21, and the face recognition processing unit 25 and the face clipping processing unit 26 Stop the image cut-out process.
  • the switching control unit 28 performs control so as to execute only necessary functions according to the state of the mobile terminal 20, there is an effect that power consumption can be reduced.
  • processing that is heavy on the mobile terminal 20 such as camera shake correction processing and image cutout processing, even if a CPU having a lower processing capacity than before is used, depending on the situation of the mobile terminal 20 It will be possible to provide optimal TV phone functions.
  • a CPU with low processing capability it is possible to provide an optimal videophone function according to the situation of the mobile terminal 20 at a lower cost.
  • the acceleration sensor 23 is used as the hand-held state detection means 12, but the present invention is not limited to this.
  • the handheld state of the portable terminal 20 may be detected using a capacitance sensor or an energization sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　携帯端末の状態に応じて最適な機能のみを提供することにより消費電力を低減するＴＶ電話機能の撮影画像処理切り替え装置を提供するために、携帯端末が有するカメラで撮影した撮影画像から撮影対象を含む所定の範囲を切り出す画像切り出し手段１１と、手持ち状態を検出する手持ち状態検出手段１２と、手持ち状態検出手段１２が検出する携帯端末の状態に応じて画像切り出し手段１１の有効／無効を切り替える切り替え手段１３と、を少なくとも備える。

Description

明 細 書
TV電話機能の撮影画像処理切り替え装置
技術分野
[0001] 本発明は、 τν電話機能付き携帯端末に関し、特には携帯端末が有するカメラで撮 影した撮影画像の画像処理を制御する撮影画像処理切り替え装置に関する。 背景技術
[0002] 近年、携帯電話等の携帯端末には多くの機能が付加されてきている。その代表的 な機能に、 TV電話機能がある。
TV電話機能付き携帯端末は、利用者が携帯端末を手に持って、顔の近くで対面 するようにして使用することを前提に TV電話機能 (例えば、カメラ等の光学系）が設 計されている。
[0003] この場合、近くの顔を適切な大きさで撮影するために、画角が例えば 40度以上の 標準又は広角な光学系を使用したカメラが使用されている。したがって、携帯端末と 顔 (撮影対象)との距離を離して撮影すると、撮影画面に映る人物に対する顔の割合 力 S小さくなつてしまう場合がほとんどである。
[0004] したがって、携帯端末を手に持って使用した場合には、画面内の人物の顔が適切 な割合となるが、携帯端末を机上等に置いて通話した場合には、撮影画面に映る人 物に対する顔の割合力 、さくなつてしまい、表情の判別が困難となってしまう。
[0005] また、携帯端末の TV電話機能では、手振れによる画面の揺れをキャンセルする処 理ゃ、人物位置認識又は顔位置認識の技術を利用して認識した画面内の顔の部分 を切り出して拡大したものを相手端末に送信する処理、と！ヽつた画像処理が行われ ている。一般に、画像処理を行うためには、高い処理能力が必要とされるので電力消 費も大きくなつてしまう。
[0006] 特許文献 1は、確実に人物検出を行うとともに、人物の移動があっても見やすい画 面表示を行うことによって、人物画像の適切な表示を行うテレビ会議端末の画面表示 制御装置につ 、て開示されて!、る。
[0007] 特許文献 2は、十分な切り出し位置精度を確保しつつ、手ぶれ補正機能の高品位 化を図った撮像装置について開示されている。
特許文献 3は、手揺れ等が発生した場合の映像の振れを防止する機能と、撮影ァ ンダルの不適切をユーザに認識させるために表示を対象物の撮影映像に切り替える 機能と、を備える携帯情報端末装置につ 、て開示されて!、る。
特許文献 1 :特開平 10— 051755号公報
特許文献 2：特開平 11― 266391号公報
特許文献 3：特開 2000— 156849号公報
発明の開示
[0008] 本発明は、上述した問題に鑑みてなされたものであり、その解決しょうとする課題は 、携帯端末の状態に応じて最適な機能のみを提供することにより消費電力を低減す る TV電話機能の撮影画像処理切り替え装置を提供する。
[0009] 上記課題を解決するために、本発明に係る撮影画像処理切り替え装置は、 TV電 話機能付き携帯端末において、前記携帯端末が有するカメラによって得る撮影画像 における撮影対象を認識し、該認識した撮影対象を含む所定の範囲を切り出して、 前記 TV電話機能による通信相手に送信する画像切り出し処理を行う画像切り出し 手段と、前記 TV電話機能による通信時に前記携帯端末が手持ち状態であることを 検出する手持ち状態検出手段と、前記携帯端末が手持ち状態の時には、前記画像 切り出し手段による画像切り出し処理を停止し、前記携帯端末が手持ち状態にない 時には、前記画像切り出し手段による画像切り出し処理を実行する、切り替え手段と 、を備える。
[0010] 本発明によると、切り替え手段は、手持ち検出手段によって検出した携帯端末の状 態力 手持ち状態の時には、画像切り出し手段による画像切り出し処理を停止し、手 持ち状態にない時には、画像切り出し手段による画像切り出し処理を行う。これにより 、携帯端末に画像切り出し処理が必要な場合のみ、画像切り出し処理が行われる。 なお、画像切り出し手段が認識する撮影対象とは、例えば、人物の顔である。
[0011] すなわち、携帯端末の状態に応じて最適な機能のみを提供することができる。また
、携帯端末の状態に応じて不要な機能は停止するので、消費電力を低減することが 可能となる。 [0012] 以上のように、本発明によると、携帯端末の状態に応じて最適な機能のみを提供す ることにより消費電力を低減する TV電話機能の撮影画像処理切り替え装置を提供 することができる。
図面の簡単な説明
[0013] [図 1]本発明の原理を示す図である。
[図 2]本発明の実施例に係る撮影画像切り替え装置を実現する携帯端末の主要部の 構成を示す図である。
[図 3]本発明の実施例に係る携帯端末の処理を示すフローチャートである。
[図 4]本発明の実施例に係る携帯端末の状態と各状態における撮影画像を説明する 図である。
発明を実施するための最良の形態
[0014] 以下、本発明の実施形態について図 1〜図 4に基づいて説明する。
図 1は、本発明の原理を示す図である。
図 1に示す撮影画像処理切り替え装置 10は、 TV電話機能付き携帯端末 (以下「携 帯端末」という）が有するカメラで撮影することによって得た撮影画像力 人物の顔を 含む所定の範囲を切り出して通信相手に送信する画像切り出し手段 11と、携帯端末 を使用者が手に持って 、る状態 (以下「手持ち状態」 、う）を検出する手持ち状態 検出手段 12と、手持ち状態検出手段 12が検出する携帯端末の状態に応じて画像 切り出し手段 11の有効 Z無効を切り替える切り替え手段 13と、を少なくとも備えて!/、 る。
[0015] 切り替え手段 13は、手持ち状態検出手段 12が検出する携帯端末の状態が手持ち 状態の場合に、画像切り出し手段 11の画像切り出し処理を停止させる。また、切り替 え手段 13は、手持ち状態検出手段 12が検出する携帯端末の状態が手持ち状態で な ヽ場合に、画像切り出し手段 11に画像切り出し処理を実行させる。
[0016] 図 1に示す撮影画像処理切り替え装置 10には、更に、携帯端末の手振れを検出し て撮影画像を補正する手振れ防止手段 14を備えて 、る場合を示して!/ヽる。
そして、切り替え手段 13は、手持ち状態検出手段 12が検出する携帯端末の状態 が手持ち状態の場合に、手振れ防止手段 14に撮影画像の手振れ補正処理を実行 させる。また、切り替え手段 13は、手持ち状態検出手段 12が検出する携帯端末の状 態が手持ち状態でない場合に、手振れ防止手段 14による撮影画像の手振れ補正処 理を停止させる。
[0017] 図 2は、本発明の実施例に係る撮影画像切り替え装置 10を実現する携帯端末 20 の主要部の構成を示して 、る。
図 2に示す携帯端末 20は、被写体を撮影するカメラ (又は CCD (Charge Couple d Devices)等の撮像素子） 21と、カメラ 21を駆動するドライバ 22と、携帯端末 20の 手振れを検出する加速度センサ 23と、加速度センサ 23を駆動するドライバ 24と、力 メラ 21で生成した撮影画像カゝら人物の顔を認識する顔認識処理部 25と、顔認識処 理部 25で認識した人物の顔を含む所定の範囲を撮影画像から切り出す顔切り出し 処理部 26と、手振れ量に基づ 、て撮影画像の手振れを補正する手振れ防止処理 部 27と、携帯端末 20の状態に応じて撮影画像に行う画像処理 (顔切り出し処理 Z手 振れ防止処理)を切り替える切り替え制御部 28と、顔切り出し処理又は手振れ補正 処理後の撮影画像を所定のプロトコルにエンコードするエンコーダ 29と、エンコード された撮影画像のデータ（以下「表示画像」 t 、）をデコーダによってデコードして携 帯端末 20に表示するとともに、データ通信部 31を介して通信相手に表示画像及び 音声データを送信する TV電話制御部 30と、通信相手に表示画像及び音声データ を送信するデータ通信部 31と、を少なくとも備える。
[0018] なお、図示しないが、携帯端末 20は CPU (Central Processing Unit)ゃ不揮 発性 Z揮発性のメモリ（例えば、 RAMや EEPROM)を当然に備える。
[0019] そして、 CPU力メモリに格納されたプログラムの命令を実行することによって、図 2 に示したドライバ 22、 24、顔認識処理部 25、顔切り出し処理部 26、手振れ防止処理 部 27、切り替え制御部 28、エンコーダ 29、 TV電話制御部 30等を実現する。
[0020] カメラ 21が生成した撮影画像は、顔認識処理部 25及び手振れ防止処理部 27に入 力される。顔認識処理部 25に撮影画像が入力されると、顔認識処理部 25が、撮影 画像に記録されている画像カゝら人物の顔を認識する。そして、顔切り出し処理部 26 力 認識した人物の顔を含む所定の範囲（例えば、バストショットが得られる範囲）を 撮影画像から抽出する。 [0021] したがって、撮影画像の全体に対して人物の顔の割合が小さい場合であっても、顔 認識処理部 25及び切り出し処理部 26が、撮影画像を例えばバストショット画像に変 換するので、撮影された人物の表情をハツキリと認識できる。
[0022] 一方、手振れ防止処理部 27に撮影画像が入力されると、手振れ防止処理部 27は 、加速度センサ 23のセンサ値力も手振れ量を算出して撮影画像を補正する。したが つて、補正された撮影画像は、携帯端末 20の手振れによって生じた被写体の像のブ レが除去される。
[0023] ここで、切り替え制御部 28は、加速度センサ 23で得る加速度から携帯端末 20の状 態 (手持ち状態 Z手持ち状態にない状態)を検出 (判別)する。そして、切り替え制御 部 28は、携帯端末 20の状態に応じて、顔認識処理部 25及び顔切り出し処理部 26 によって行われる画像切り出し処理と、手振れ防止処理部 27によって行われる手振 れ防止処理と、を排他的に切り替える制御を行う。
[0024] すなわち、携帯端末 20が手持ち状態にない状態の場合には、手振れ防止処理部 27による手振れ防止処理を停止させて、顔認識処理部 25及び顔切り出し処理部 26 による画像切り出し処理を開始する。そして、画像切り出し処理を施した撮影画像を エンコーダ 29に出力する。
[0025] また、携帯端末 20が手持ち状態の場合には、顔認識処理部 25及び顔切り出し処 理部 26による画像切り出し処理を停止して、手振れ防止処理部 27による手振れ防 止処理を開始する。そして、手振れ防止処理を施した撮影画像をエンコーダ 29に出 力する。
[0026] エンコーダ 29では、入力された撮影画像を、必要に応じて MPEG— 4 (Moving
Picture Experts Group phase 4)や、 ITU— T (International Telecommu nication Union Telecommunication Standardization Sector:国際電： ¾ 通信連合電気通信標準化部門）に準じたデータに変換する。
[0027] TV電話制御部 30は、エンコードされたデータをデータ通信部 31を介して通信相 手に送信する。また、必要に応じて、デコード 33に出力し図示しない携帯端末の表 示部に撮影画像を表示する。
[0028] 以上に説明した構成において、図 1に示した画像切り出し手段 11は、顔認識処理 部 25及び顔切り出し処理部 26によって実現され、手持ち状態検出手段 12と切り替 え手段 13は、加速度センサ 23、ドライバ 24及び切り替え制御部 28によって実現され る。また、手振れ防止手段 14は、加速度センサ 23、ドライバ 24及び手振れ防止処理 部 27によって実現される。
[0029] 以上に説明した携帯端末 20の詳細な処理について図 3及び図 4を用いて説明する 。図 3は、本発明の実施例に係る携帯端末 20の処理を示すフローチャートである。 ステップ S301において、切り替え制御部 28は、加速度センサ 23の加速度値から 携帯端末 20の状態 (手持ち状態力否か)を判別する。例えば、あらかじめ所定の加 速度値を閾値に設定しておき、加速度センサ 23で検出する加速度が閾値以下の場 合に携帯端末 20は手持ち状態にあると判断し、閾値以上の場合に携帯端末 20は手 持ち状態にないと判断する。そして、切り替え制御部 28は、処理をステップ S302に 移行する。
[0030] ステップ S302において、切り替え制御部 28は、ステップ S301での検出結果が手 持ち状態の場合には、処理をステップ S303に移行し、ステップ S301での検出結果 が手持ち状態にない場合には、処理をステップ S 305に移行する。
[0031] なお、本実施例に係る切り替え制御部 28は、携帯端末 20の状態を判定する時に 使用する判定処理モードと、撮影画像に対する画像処理を選択する場合に使用する 画像処理モードと、を有する。
[0032] 判定処理モードは、携帯端末 20が手持ち状態であることを示す手持ちモードと、若 干携帯端末 20の振れを検出するが手持ち状態であることを示す準手持ちモードと、 携帯端末 20が固定されていることを示す固定モードの 3つのモードからなる。
[0033] また、画像処理モードは、判定処理モードの各モードから、携帯端末 20が手持ち 状態であると判断されたことを示す手持ちモードと、携帯端末 20が手持ち状態にな い（固定されている）と判断されたことを示す固定モードの 2つのモード力もなる。
[0034] これら判定処理モードと画像処理モードは、携帯端末 20が備えるメモリ等に記憶さ れる。そして、必要に応じて CPUが参照し、又はモードの書き込みを行う。
ステップ S303において、切り替え制御部 28は、判定モードを手持ちモードに切り 替える。そして、処理をステップ S 304に移行する。ステップ S304において、切り替え 制御部 28は、画像処理モードを手持ちモードに切り替える。
[0035] 一方、ステップ S305において、現在の判定処理モードが手持ちモードである場合 には、切り替え制御部 28は、処理をステップ S 306に移行し、時刻を記録するとともに
、判定処理モードを準手持ちモードに移行する。
[0036] また、ステップ S305において、現在の判定処理モードが手持ちモードにない場合 には、切り替え制御部 28は、処理をステップ S 307に移行する。そして、現在の判定 処理モードが固定モードである場合には、切り替え制御部 28は、処理をステップ S3
08に移行し、現在の判定モードを継続する（変更しな 、)。
[0037] ステップ S309において、切り替え制御部 28は、準手持ちモードが一定時間継続し ている力否かをチェックする。そして、準手持ちモードの状態が一定時間経過してい ない場合には、処理をステップ S310に移行し、現在の判定モードを継続する（変更 しない)。
[0038] また、ステップ S309において、準手持ちモードの状態が一定時間を経過した場合 には、切り替え制御部 28は、処理をステップ S311に移行し、判定モードを固定モー ドに変更する。そして、ステップ S312において、切り替え制御部 28は、画像モードを 固定モードに切り替える。
[0039] 以上のステップ S301〜S312の処理によって画像処理モードが決定すると、切り替 え制御部 28は、処理をステップ S313に移行する。そして、ステップ S301〜S312の 処理で決定した画像処理モードのチェックを行う。以下、画像処理モードに応じた処 理が行われる。
[0040] ステップ S313において、切り替え制御部 28は、画像処理モードをチェックする。そ して、画像処理モードが手持ちモードの場合には、処理をステップ S314に移行する 。また、画像処理モードが固定モードの場合には、処理をステップ S316に移行する
[0041] ステップ S314において、手振れ防止処理部 27は、加速度センサ 23からセンサ値（ 加速度値)を取得する。そして、そのセンサ値力 手振れ量を算出する。なお、本実 施例に係る手振れ量は、センサ値力も撮像素子 (例えば、カメラ 21に備わる CCD) 上の縦方向と横方向への移動距離を算出し、これらの移動距離を画素数に変換した 値を使用している。
[0042] 手振れ量の算出が終了すると、手振れ防止処理部 27は、処理をステップ S315に 移行する。
ステップ S315において、手振れ防止処理部 27は、ステップ S314で算出した手振 れ量に基づいて撮影画像の補正を行う。本実施例では、例えば、撮影画像の中心よ り手振れ量分だけ縦方向又は横方向にずらした位置を中心とした所定の範囲を切り 出して、新たな撮影画像 (手振れ補正された撮影画像)を生成している。なお、必要 に応じて、新たな撮影画像を拡大,縮小してもよ ヽ。
[0043] 一方、ステップ S316において、顔認識処理部 25は、撮影画像に撮影されている人 物の顔を認識し、顔の位置とサイズを算出する。本実施例に係る顔認識処理は、例 えば、輝度の高い部分を抽出して人物の目の位置 (顔の位置）を特定した後に、目の 間隔カゝら顔のサイズを特定してもよ ヽし、撮影画像に対して輪郭強調の処理を施した 後に、あらかじめ用意した複数の顔の形状 (輪郭）とそれぞれ比較をして人物の顔を 特定してちょい。
[0044] 顔認識処理が終了すると、顔認識処理部 25は、処理をステップ S317に移行する。
ステップ S317において、顔切り出し処理部 26は、ステップ S316で特定した顔の位 置からバストショットとなる画像範囲を算定し、その画像を切り出して新たな撮影画像
(人物の顔が切り出された撮影画像)を生成する。なお、必要に応じて、新たな撮影 画像を拡大,縮小してもよ ヽ。
[0045] 以上に説明した手振れ補正処理又は画像切り出し処理が施された撮影画像は、ェ ンコード 29を介して TV電話制御部 30に送信される。そして、処理がステップ S318 に移行する。
[0046] ステップ S318において、 TV電話制御部 30は、ステップ S314〜S315〖こよる手振 れ補正処理、又はステップ S316〜S317による画像切り出し処理が施された撮影画 像を自画像データとして、データ通信部 31を介して通信相手に送信する。
[0047] 図 4は、本発明の実施例に係る携帯端末 20の状態と各状態における撮影画像を 説明する図である。
図 4には、手持ちモード時の状況 (a)、その時の撮影画像 (b)及び手振れ補正処理 後の撮影画像 (c)と、固定モード時の状況 (d)、その時の撮影画像 (e)及び画像切り 出し処理後の撮影画像 (f)と、を示している。
[0048] 手持ちモード時の状況 (a)は、図 3で示した画像処理モードが手持ちモードの場合 の状況を示している。すなわち、使用者 40 (又は被写体 40、以下必要に応じて使用 者 40又は被写体 40と 、う）が携帯端末 20を手で持ち、携帯端末 20と自分の顔とが 一定の距離を保つようにして TV電話機能による通信を行って ヽる状況を示して!/ヽる
[0049] 撮影画像 (b)は、画像処理モードが手持ちモード時に撮影された撮影画像 (手振 れ補正処理前の撮影画像)の例を示している。この撮影画像 (b)は、使用者が携帯 端末 20を手で持って ヽる状態 (手持ち状態)であるので、撮影画像に手振れ 42 (被 写体 40の輪郭部に示された太線）が生じている。
[0050] この撮影画像 (b)は、手振れ防止処理部 27によって手振れ補正処理が施されて、 撮影画像 (c)が得られる。この撮影画像 (c)は、手振れ補正処後の撮影画像であり、 エンコード 29、 TV電話制御部 30及びデータ通信部 31を介して通信相手に送られ た撮影画像を示している。この撮影画像 (c)は、被写体 40の輪郭部に生じていた手 振れ 42が除去されている。
[0051] 固定モード時の状況 (d)は、図 3で示した画像処理モードが固定モードの場合の状 況を示している。すなわち、携帯端末 20は机の上などに固定されて、携帯端末 20と 自分の顔とが一定の距離を保つようにして TV電話機能による通信を行って ヽる状況 を示している。この時、携帯端末 20と被写体 40との距離は、画像処理モードが手持 ちモードの時より大きくなつている。
[0052] 撮影画像 (e)は、画像処理モードが固定モードの時に撮影された撮影画像 (画像 切り出し処理前の撮影画像)の例を示している。この撮影画像 (e)は、画像処理モー ドが手持ちモードの時 (手持ち状態）に比べて携帯端末 20と被写体 40との距離が大 きくなつて!/、るため、撮影画像全体に対する被写体 40の顔の割合が小さくなつて ヽ る。
[0053] この撮影画像 (e)は、顔認識処理部 25及び顔切り出し処理部 26によって画像切り 出し処理が施されて、撮影画像 (f)が得られる。この撮影画像 (f)は、画像切り出し処 理後の撮影画像であり、エンコード 29、 TV電話制御部 30及びデータ通信部 31を介 して通信相手に送られた撮影画像を示している。この撮影画像 (f)は、撮影画像 (e) に写された被写体 40のバストショットとなっている。
[0054] 以上に説明したように、本実施例に係る撮影画像処理切替え装置 10は、切り替え 制御部 28によって加速度センサ 23のセンサ値力も携帯端末 20の状態を検出する。 そして、携帯端末 20が手持ち状態の場合には、カメラ 21で撮影した撮影画像に対 して手振れ防止処理部 27による手振れ補正処理を開始するとともに、顔認識処理部 25及び顔切り出し処理部 26による画像切り出し処理を停止する。
[0055] また、携帯端末 20が手持ち状態にない場合には、カメラ 21で撮影した撮影画像に 対して顔認識処理部 25及び顔切り出し処理部 26による画像切り出し処理を開始す るとともに、手振れ防止処理部 27による手振れ補正処理を停止する。
[0056] このように、切り替え制御部 28が携帯端末 20の状態に応じて必要な機能のみを実 行するように制御するので、消費電力を低減することが可能となる効果を奏する。 また、手振れ補正処理や画像切り出し処理といった携帯端末 20にとつて高負荷と なる処理を、同時に実行する必要がなくなるので、従来より処理能力の低い CPUを 用いても携帯端末 20の状況に応じて最適な TV電話機能を提供することが可能とな る。また、処理能力の低い CPUを使用することによって、より低いコストで携帯端末 2 0の状況に応じて最適な TV電話機能を提供することが可能となる。
[0057] また、携帯端末 20の各状態に必要な画像処理のみを行うことによって余裕が生じ た処理能力を手振れ補正処理に割り当てることで、手持ち状態での撮影画像の画質 改善ち行うことができる。
[0058] なお、本実施例に係る携帯端末 20については、 TV電話機能付き携帯電話の例を 示したが、 TV電話機能を有する他の携帯端末についても同様の効果を得ることがで きるのは当然である。
[0059] 以上の説明において、本実施例では手持ち状態検出手段 12として加速度センサ 2 3を使用しているが、これに限定する趣旨ではない。例えば、静電容量センサゃ通電 センサ等を使用して携帯端末 20の手持ち状態を検出してもよい。

Claims

請求の範囲
[1] TV電話機能付き携帯端末にぉ ヽて、
前記携帯端末が有するカメラによって得る撮影画像における撮影対象を認識し、該 認識した撮影対象を含む所定の範囲を切り出して、前記 TV電話機能による通信相 手に送信する画像切り出し処理を行う画像切り出し手段と、
前記 TV電話機能による通信時に前記携帯端末が手持ち状態であることを検出す る手持ち状態検出手段と、
前記携帯端末が手持ち状態の時には、前記画像切り出し手段による画像切り出し 処理を停止し、前記携帯端末が手持ち状態にない時には、前記画像切り出し手段に よる画像切り出し処理を実行する、切り替え手段と、
を備える TV電話機能の撮影画像処理切り替え装置。
[2] 前記携帯端末の手振れによる手振れ量を検出し、該手振れ量に応じて前記撮影 画像の手振れの補正を行う手振れ防止手段を、更に備え、
前記切り替え手段は、前記携帯端末が手持ち状態の時には、前記手振れ防止手 段による手振れの補正を実行し、該携帯端末が手持ち状態にない時には、前記手 振れ防止手段による手振れの補正を停止する、
ことを特徴とする請求項 1に記載の TV電話機能の撮影画像処理切り替え装置。
[3] 前記切り替え手段は、手持ちモードと準手持ちモードと固定モードの 3つのモード 力 なる判定モードを有し、
固定モードである場合に、前記携帯端末が手持ち状態であることを検出したときに は手持ちモードに移行するとともに、前記画像切り出し手段による画像切り出し処理 を停止し、
手持ちモードである場合に、前記携帯端末が手持ち状態にないことを検出したとき には準手持ちモードに移行し、
準手持ちモードである場合に、所定時間だけ前記携帯端末が手持ち状態にないこ とを検出したときには固定モードに移行するとともに、前記画像切り出し手段による画 像切り出し処理を実行する、
ことを特徴とする請求項 1に記載の TV電話機能の撮影画像処理切り替え装置。
[4] 前記携帯端末の手振れによる手振れ量を検出し、該手振れ量に応じて前記撮影 画像の手振れの補正を行う手振れ防止手段を、更に備え、
前記切り替え手段は、手持ちモードと準手持ちモードと固定モードの 3つのモード 力 なる判定モードを有し、
固定モードである場合に、前記携帯端末が手持ち状態であることを検出したときに は手持ちモードに移行するとともに、前記手振れ防止手段による手振れの補正を実 行し、
手持ちモードである場合に、前記携帯端末が手持ち状態にないことを検出したとき には準手持ちモードに移行し、
準手持ちモードである場合に、所定時間だけ前記携帯端末が手持ち状態にないこ とを検出したときには固定モードに移行するとともに、前記手振れ防止手段による手 振れの補正を停止する、
ことを特徴とする請求項 1に記載の TV電話機能の撮影画像処理切り替え装置。
[5] 前記手持ち検出手段は、加速度センサ、静電容量センサ、通電センサの 、ずれか 1つを使用する、
ことを特徴とする請求項 1に記載の TV電話機能の撮影画像処理切り替え装置。
[6] TV電話機能付き携帯端末にぉ ヽて、
前記 TV電話機能による通信時に前記携帯端末が手持ち状態であることを検出し、 前記携帯端末が手持ち状態の時には、前記携帯端末が有するカメラによって得る 撮影画像における撮影対象を認識し、該認識した撮影対象を含む所定の範囲を切り 出して、前記 TV電話機能による通信相手に送信する画像切り出し処理を停止し、 前記携帯端末が手持ち状態にない時には、前記画像切り出し処理を実行する、 ことを特徴とする TV電話機能の撮影画像処理切り替え方法。
[7] 前記携帯端末が手持ち状態の時には、前記携帯端末の手振れによる手振れ量を 検出し、該手振れ量に応じて前記撮影画像の手振れの補正を行う手振れ防止処理 を実行し、
前記携帯端末が手持ち状態にない時には、前記手振れ防止処理による手振れの 補正を停止する、 ことを特徴とする請求項 6に記載の TV電話機能の撮影画像処理切り替え方法。
[8] 手持ちモードと準手持ちモードと固定モードの 3つのモード力もなる判定モードを有 し、
固定モードである場合に、前記携帯端末が手持ち状態であることを検出したときに は手持ちモードに移行するとともに、前記画像切り出し処理による画像切り出し処理 を停止し、
手持ちモードである場合に、前記携帯端末が手持ち状態にないことを検出したとき には準手持ちモードに移行し、
準手持ちモードである場合に、所定時間だけ前記携帯端末が手持ち状態にないこ とを検出したときには固定モードに移行するとともに、前記画像切り出し処理による画 像切り出し処理を実行する、
ことを特徴とする請求項 6に記載の TV電話機能の撮影画像処理切り替え方法。
[9] 手持ちモードと準手持ちモードと固定モードの 3つのモード力もなる判定モードを有 し、
固定モードである場合に、前記携帯端末が手持ち状態であることを検出したときに は手持ちモードに移行するとともに、前記携帯端末の手振れによる手振れ量を検出 し、該手振れ量に応じて前記撮影画像の手振れの補正を行う手振れ防止処理を実 行し、
手持ちモードである場合に、前記携帯端末が手持ち状態にないことを検出したとき には準手持ちモードに移行し、
準手持ちモードである場合に、所定時間だけ前記携帯端末が手持ち状態にないこ とを検出したときには固定モードに移行するとともに、前記手振れ防止処理による手 振れの補正を停止する、
ことを特徴とする請求項 6に記載の TV電話機能の撮影画像処理切り替え方法。
[10] TV電話機能付き携帯端末であって、
該 TV電話機能に必要な画像を撮影するカメラと、
該カメラによって得る撮影画像における撮影対象を認識し、該認識した撮影対象を 含む所定の範囲を切り出して、前記 TV電話機能による通信相手に送信する画像切 り出し処理を行う画像切り出し手段と、
前記 TV電話機能による通信時に前記携帯端末が手持ち状態であることを検出す る手持ち状態検出手段と、
前記携帯端末が手持ち状態の時には、前記画像切り出し手段による画像切り出し 処理を停止し、前記携帯端末が手持ち状態にない時には、前記画像切り出し手段に よる画像切り出し処理を実行する、切り替え手段と、
を備える携帯端末。
PCT/JP2005/024127 2005-12-28 2005-12-28 Ｔｖ電話機能の撮影画像処理切り替え装置 WO2007077614A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2005/024127 WO2007077614A1 (ja) 2005-12-28 2005-12-28 Ｔｖ電話機能の撮影画像処理切り替え装置
JP2007552835A JP4448177B2 (ja) 2005-12-28 2005-12-28 Ｔｖ電話機能の撮影画像処理切り替え装置
CN2005800524379A CN101346990B (zh) 2005-12-28 2005-12-28 电视电话功能的拍摄图像处理切换装置
KR1020087017160A KR101006668B1 (ko) 2005-12-28 2005-12-28 Ｔｖ 전화 기능의 촬영 화상 처리 절환 장치
US12/163,479 US8063938B2 (en) 2005-12-28 2008-06-27 Photographed image process changeover apparatus of a video telephone function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2005/024127 WO2007077614A1 (ja) 2005-12-28 2005-12-28 Ｔｖ電話機能の撮影画像処理切り替え装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/163,479 Continuation US8063938B2 (en) 2005-12-28 2008-06-27 Photographed image process changeover apparatus of a video telephone function

Publications (1)

Publication Number Publication Date
WO2007077614A1 true WO2007077614A1 (ja) 2007-07-12

Family

ID=38227981

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/024127 WO2007077614A1 (ja) 2005-12-28 2005-12-28 Ｔｖ電話機能の撮影画像処理切り替え装置

Country Status (5)

Country Link
US (1) US8063938B2 (ja)
JP (1) JP4448177B2 (ja)
KR (1) KR101006668B1 (ja)
CN (1) CN101346990B (ja)
WO (1) WO2007077614A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764929B (zh) * 2008-12-24 2012-09-05 奥林巴斯映像株式会社 相机
CN105282481A (zh) * 2014-07-18 2016-01-27 鸿富锦精密工业（深圳）有限公司 视频会议处理方法及系统
JP7335463B1 (ja) * 2023-01-31 2023-08-29 セーフィー株式会社 携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7986336B2 (en) * 2006-11-27 2011-07-26 Eastman Kodak Company Image capture apparatus with indicator
JP5159189B2 (ja) * 2007-06-29 2013-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101380482B1 (ko) * 2008-08-28 2014-04-01 쿄세라 코포레이션 통신 기기
JP5436975B2 (ja) * 2009-08-21 2014-03-05 オリンパスイメージング株式会社 カメラ、カメラの表示制御方法、表示装置、及び表示方法
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8363085B2 (en) * 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
JP2012068713A (ja) * 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US8683054B1 (en) 2011-08-23 2014-03-25 Amazon Technologies, Inc. Collaboration of device resources
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
KR20150069018A (ko) * 2012-10-22 2015-06-22 브이아이디 스케일, 인크. 모바일 장치에서의 사용자 존재 검출
EP2739044B1 (en) 2012-11-29 2015-08-12 Alcatel Lucent A video conferencing server with camera shake detection
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
US9104240B2 (en) 2013-01-09 2015-08-11 Intel Corporation Gesture pre-processing of video stream with hold-off period to reduce platform power
US9292103B2 (en) * 2013-03-13 2016-03-22 Intel Corporation Gesture pre-processing of video stream using skintone detection
CN104580874B (zh) * 2013-10-22 2019-12-13 中兴通讯股份有限公司 一种摄像设备及其实现拍照的方法
KR102627244B1 (ko) * 2016-11-30 2024-01-22 삼성전자주식회사 전자 장치 및 전자 장치에서 홍채 인식을 위한 이미지 표시 방법
US10917571B2 (en) 2018-11-05 2021-02-09 Sony Corporation Image capture device control based on determination of blur value of objects in images
CN111669499B (zh) * 2020-06-12 2021-11-19 杭州海康机器人技术有限公司 一种视频防抖方法、装置及视频采集设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JPH11266391A (ja) * 1998-03-17 1999-09-28 Canon Inc 撮像装置
JP2000156849A (ja) * 1998-06-29 2000-06-06 Toshiba Corp 携帯情報端末装置
JP2002051316A (ja) * 2000-05-22 2002-02-15 Matsushita Electric Ind Co Ltd 画像通信端末
JP2004015367A (ja) * 2002-06-06 2004-01-15 Nikon Corp 電子カメラ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815199A (en) * 1991-01-31 1998-09-29 Matsushita Electric Works, Ltd. Interphone with television
US5742329A (en) * 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
JPH10150597A (ja) 1996-11-18 1998-06-02 Sony Corp ビデオカメラ
EP1158801A3 (en) * 2000-05-22 2006-09-13 Matsushita Electric Industrial Co., Ltd. Image communication terminal
US6614994B2 (en) * 2000-08-02 2003-09-02 Nikon Corporation Shake detection device, optical device, camera system, and interchangeable lens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051755A (ja) * 1996-05-30 1998-02-20 Fujitsu Ltd テレビ会議端末の画面表示制御装置
JPH11266391A (ja) * 1998-03-17 1999-09-28 Canon Inc 撮像装置
JP2000156849A (ja) * 1998-06-29 2000-06-06 Toshiba Corp 携帯情報端末装置
JP2002051316A (ja) * 2000-05-22 2002-02-15 Matsushita Electric Ind Co Ltd 画像通信端末
JP2004015367A (ja) * 2002-06-06 2004-01-15 Nikon Corp 電子カメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764929B (zh) * 2008-12-24 2012-09-05 奥林巴斯映像株式会社 相机
CN105282481A (zh) * 2014-07-18 2016-01-27 鸿富锦精密工业（深圳）有限公司 视频会议处理方法及系统
CN105282481B (zh) * 2014-07-18 2018-08-03 鸿富锦精密工业（深圳）有限公司 视频会议处理方法及系统
JP7335463B1 (ja) * 2023-01-31 2023-08-29 セーフィー株式会社 携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラム

Also Published As

Publication number Publication date
JPWO2007077614A1 (ja) 2009-06-04
CN101346990A (zh) 2009-01-14
US20090002478A1 (en) 2009-01-01
JP4448177B2 (ja) 2010-04-07
CN101346990B (zh) 2011-07-27
KR20080081037A (ko) 2008-09-05
KR101006668B1 (ko) 2011-01-10
US8063938B2 (en) 2011-11-22

Similar Documents

Publication Publication Date Title
JP4448177B2 (ja) Ｔｖ電話機能の撮影画像処理切り替え装置
JP4575443B2 (ja) 顔画像の補正
KR100469727B1 (ko) 통화자의 얼굴을 화면 가운데에 위치시킬 수 있는화상통신용 통신단말기 및 방법
US20110249146A1 (en) Imaging device, display control method and program
US20100171874A1 (en) Apparatus and method for photographing image in portable terminal
CN112219393A (zh) 便携信息终端
JP2005117661A (ja) 携帯用端末機の自動ズーミング制御装置及び方法
JP2014007653A (ja) 撮像装置、撮像方法、撮像システム及びプログラム
US20040070666A1 (en) Method and apparatus for transmitting a video image
KR100689419B1 (ko) 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법
KR101166504B1 (ko) 휴대용 단말기에서 이미지 캡처 장치 및 방법
JP2008277983A (ja) テレビジョン受像機
KR101381542B1 (ko) 휴대단말기의 영상 촬영 방법
KR101393147B1 (ko) 이동단말기 및 그 촬영방법
KR101995258B1 (ko) 카메라를 구비하는 휴대단말기의 동영상 촬영장치 및 방법
US7663676B2 (en) Image composing apparatus and method of portable terminal
JP2014045404A (ja) 携帯端末
US20120170807A1 (en) Apparatus and method for extracting direction information image in a portable terminal
US20010017650A1 (en) Method and apparatus for transmitting a video image
JP2005260870A (ja) デジタルカメラ及びデジタルカメラ機能付き携帯電話機並びに顔画像自動回転方法
JP2013190791A (ja) 携帯端末機のイメージ撮影装置及び方法
US9762891B2 (en) Terminal device, image shooting system and image shooting method
JP4223940B2 (ja) 画像生成装置、携帯端末、画像生成方法、画像表示方法及びプログラム
JP2006238033A (ja) 電子機器
KR100697627B1 (ko) 움직임 감지를 이용한 촬영 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200580052437.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007552835

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020087017160

Country of ref document: KR

122 Ep: pct application non-entry in european phase

Ref document number: 05844865

Country of ref document: EP

Kind code of ref document: A1