New! View global litigation for patent families

JP5096610B2 - Guide device and the guide METHOD - Google Patents

Guide device and the guide METHOD

Info

Publication number
JP5096610B2
JP5096610B2 JP2011263393A JP2011263393A JP5096610B2 JP 5096610 B2 JP5096610 B2 JP 5096610B2 JP 2011263393 A JP2011263393 A JP 2011263393A JP 2011263393 A JP2011263393 A JP 2011263393A JP 5096610 B2 JP5096610 B2 JP 5096610B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011263393A
Other languages
Japanese (ja)
Other versions
JP2012079330A (en )
Inventor
修 野中
将臣 冨澤
敏 宮崎
淳 丸山
猛士 鈴木
Original Assignee
オリンパスイメージング株式会社
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、ガイド装置に関し、詳しくは、使用する言語が分からない相手に対しても適切な言語を選択してガイドを行なうことのできるガイド装置およびガイド方法に関する。 The present invention relates to a guide device, particularly to a guide apparatus and a guide method capable of performing a guide to select the appropriate language against whom language is not known to be used.

近年、インターネットが普及し、世界中の人と簡単に即座に繋がるようになってきている。 In recent years, have come to the Internet is widespread, leading to easy to instantly with people from all over the world. このように、インターネットを通じて、コミュニケーションできる環境になっているにもかかわらず、言葉の壁のために、インターナショナルな交流は困難である。 In this way, through the Internet, despite the fact that is the environment that can be communication, for language barriers, international exchange is difficult. しかし、文章でなく、画像であれば、言葉の壁を越えての交流を図りやすい。 However, instead of the sentence, if the image, easy to aim the exchange beyond the wall of words. また、デジタル技術の普及によって、ネット上に画像をアップしやすくなっているので、この画像を利用することにより交流を深める可能性がある。 Moreover, the spread of digital technology, since it easier to up images on the net, it is possible to deepen exchanges by using this image.

この意味で写真による画像の利用可能性は高いが、海外に行き、または海外から外国人が日本を訪れた際に、彼らとコミュニケーションをとり、また写真をとることは、やはり言語の壁があり簡単ではない。 High availability of the image by the photos in this sense, but when going abroad, or foreigners from overseas visited Japan, taking with them communication, also to take a photo, still there is a language barrier It is not easy. この言語の問題を解決するための翻訳等については、従来から種々提案がなされている。 Translated, etc. for solving the problem of language, various proposals have been made. しかし、高性能の翻訳機が出現したとしても、言語の数は多く、複数の言語の中から、コミュニケーションの場で、対応する言語を選択しなければならない。 However, even as a high-performance of the translation machine appears, the number of languages ​​are many, from among a plurality of language, in the field of communication, must select the corresponding language.

そこで、言語選択についても種々提案があり、例えば、特許文献1には、動画の記録時や再生時に言語認識を行ない、字幕スーパーを付すことのできる画像記録装置が開示されている。 Therefore, there are various proposed the language selected, for example, Patent Document 1 performs a speech recognition during video recording or during reproduction, the image recording apparatus is disclosed which can be subjected to subtitles. この画像記録装置においては、言語認識が自動設定の場合にはUI言語(メニュー画面や各種設定画面での設定に使用する言語)で音声認識を行なうようにしている。 In this image recording apparatus is to perform the speech recognition in the UI language (language to be used to configure the menu screen and various setting screens) if language recognition is automatically set.

特開2006−30874号公報 JP 2006-30874 JP

特許文献1に開示の画像記録装置においては、音声自動認識はUI言語として設定された1つの言語に限られる。 In the image recording apparatus disclosed in Patent Document 1, the automatic speech recognition is limited to a single language set as UI language. コミュニケーションを取りたい相手の言語が不明の場合には、言語認識を行うことができない。 If the partner's language is unknown you want to take the communication, it can not be carried out language recognition. また、特許文献1に開示の画像記録装置においては、手動で言語の選択を行なうことができるが、これではユーザーにモード設定に操作を強いるので、余計な操作が必要となり、音声機能等を利用したコミュニケーションは困難であった。 In the image recording apparatus disclosed in Patent Document 1, it is possible to perform language selection manually, since this in the forces operating in the user mode setting, it becomes unnecessary operations need, use the voice features etc. the communication was difficult.

本願発明は、コミュニケーションをとる相手の表情に応じてメッセージを変えることのできるガイド装置およびガイド方法を提供することを目的とする。 The present invention aims to provide a guide apparatus and a guide method capable of changing the message in accordance with a facial expression of the person you to communicate.

上記目的を達成するため第1の発明に係わるガイド装置は、複数のガイド情報を記憶するガイド情報記憶部と、上記ガイド情報記憶部から読み出された上記ガイド情報を表示する表示部と、上記ガイド情報を観察する対象人物の表情をモニタする撮像部と、上記撮像部によってモニタされた対象人物の表情を判定する表情判定部と、上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて上記対象人物に対するメッセージを決定し、上記対象人物に上記メッセージを表示する表示制御部と、を具備する。 The guide apparatus according to the first invention for achieving the above object, a display unit for displaying the guide information storage unit for storing a plurality of guide information, the guide information read out from the guide information storage unit, the an imaging unit for monitoring the expression of the target person observing the guide information, and determines the facial expression determination unit an expression of the monitored target person by the imaging unit, during the display of the guide information, is determined by the facial expression determination unit depending on the expression of the target person to determine the message to the target person, comprising a display control unit for displaying the message to the target person.

第2の発明に係わるガイド装置は、上記第1の発明において、上記メッセージは、上記撮像部で得られた画像の色や上記表情判定部によって判定された顔情報の特徴によって決定する。 Guide device according to the second aspect of the invention related to the first invention, the message is determined by the features of the face information determined by the color and the expression determination unit of the image obtained by the imaging unit.
第3の発明に係わるガイド装置は、上記第1の発明において、上記表示制御部は、上記表情判定部による判定結果に応じて、上記メッセージを決定した理由を説明する。 Guide device according to the third aspect of the invention related to the first invention, the display control unit, in accordance with the determination result by the facial expression determination unit, illustrating the reason for determining the message.

第4の発明に係わるガイド装置は、上記第1の発明において、上記メッセージ内容を表示するに先だって、異なるガイド情報を表示し、上記表情判定部の判定結果に基づいて、上記対象人物の心理を推定する推定部を有し、この推定された結果によってコミュニケーションを図る。 Guide device according to the fourth invention, in the first aspect, prior to displaying the message content, to display the different guide information, based on the determination result of the facial expression determination unit, the psychology of the target person It has a estimation unit estimating to, promote communication with the estimated result.

第5の発明に係わるガイド装置は、上記第4の発明において、上記推定部は、異なる言語のガイド情報を表示した際に上記表情判定部による判定結果に基づいて、上記対象人物の使用言語を推定し、上記表示制御部は、上記推定部によって推定された使用言語で上記メッセージを表示する。 Guide device according to a fifth invention, in the fourth aspect, the estimation unit, when displaying the guide information in different languages ​​on the basis of a determination result by the facial expression determination unit, the language of the target person estimated, the display control unit displays the message in language that is estimated by the estimation unit.

第6の発明に係わるガイド装置は、上記第4の発明において、さらに、音声を取り込むマイクを有し、上記推定部は、取り込んだ上記音声の調子またはタイミングに基づいて言語を推定する。 Guide device according to a sixth aspect based on the fourth invention, further comprising a microphone for capturing audio, the estimation unit estimates the language based on the tone or timing of the sound captured.
第7の発明に係わるガイド装置は、上記第1の発明において、上記表示部は、視覚的または聴覚的に表示を行う。 Guide device according to the seventh invention, in the first aspect, the display unit performs a visual or audible display.

第8の発明に係わるガイド装置は、言語ガイド情報に対する対象人物の表情や音声を検出する検出部と、上記言語ガイド情報の表示中に、上記検出結果に応じて上記対象人物に対する言語を推定する言語推定部と、上記言語推定部によって推定された使用言語によるコミュニケーション用のフレーズを決定する決定部と、を具備する。 Guide device according to an eighth aspect of the present invention, a detector for detecting the expression or sound of the target person for the language guide information, while displaying the language guide information, to estimate the language for the target person in response to the detection result comprising a language estimator, and a determination unit for determining a phrase for communication by using language that is estimated by the language estimating unit.

第9の発明に係わるガイド装置は、ガイド情報を表示し、上記ガイド情報を観察する対象人物の表情をモニタし、モニタされた上記対象人物の表情を判定し、上記ガイド情報の表示中に、上記判定された上記対象人物の表情に応じて上記対象人物に対するメッセージを決定する。 Guide device according to a ninth aspect of the present invention, displays the guide information, to monitor the expression of the target person to observe the guide information, to determine the expression of the monitored the target person, during the display of the guide information, determining the message to the target person in accordance with the expression of the determination has been the target person.

本発明によれば、コミュニケーションをとる相手の表情に応じてメッセージを変えることのできるガイド装置およびガイド方法を提供することができる。 According to the present invention, it is possible to provide a guide apparatus and a guide method capable of changing the message in accordance with a facial expression of the person you to communicate.

本発明の一実施形態に係わるカメラとその周辺のブロック図である。 A camera and block diagram of a periphery thereof according to one embodiment of the present invention. 本発明の一実施形態に係わるカメラの使用方法を示す図であり、(a)は被写体(相手方)の使用言語を判定する場面であり、(b)は使用言語決定後に、撮影にあたっての掛け声を発生している場面の図である。 Is a diagram illustrating a camera using the according to an embodiment of the present invention, (a) is a scene determined language of the object (the other party), the slogans when (b) after determining language, shooting is a diagram of occurrence to have a scene. 本発明の一実施形態に係るカメラの撮影方法を示す図であり、(a)は一緒撮影モードを示し、(b)モデル撮影モードを示す。 It is a diagram showing a camera photographing method according to an embodiment of the present invention, (a) shows combined image capturing mode, indicating the (b) model shooting mode. 本発明の一実施形態に係るカメラの外観を示す図であり、(a)は撮影時のスルー画もしくは再生画像時の表示を示している外観図であり、(b)は関連するフレーズを併せて表示する状態の外観図である。 Is a view showing an appearance of a camera according to an embodiment of the invention, (a) is an external view showing the display in the through image or the reproduced image at the time of photographing, (b) is combined related phrases it is an external view of a state to be displayed Te. 本発明の一実施形態に係るカメラの撮影レンズ2を透過する被写体像と撮像素子3の撮像面との関係を示す図である。 It is a diagram showing the relationship between the object image and the imaging surface of the imaging device 3 that transmits the photographing lens 2 of the camera of one embodiment of the present invention. 本発明の一実施形態において、被写体の笑顔と困った顔を比較する図であり、(a)は笑顔を示し、(b)は困った顔を示す。 In one embodiment of the present invention, it is a diagram comparing the troubled face with a smile of a subject, (a) shows smile shows (b) is troubled face. 本発明の一実施形態に係るカメラにおける笑顔度を測定するためのフローチャートである。 Is a flow chart for measuring the degree of smile of the camera according to an embodiment of the present invention. 本発明の一実施形態において、被写体が頷くときと否定するときの顔を比較する図であり、(a)は顔の正面図であり、(b)は頷くときの顔であり、(c)は否定するときの顔である。 In one embodiment of the present invention, is a diagram comparing the face when denied when the object nods, (a) is a front view of a face, (b) is a face when nodding, (c) is the face of when to deny. 本発明の一実施形態に係るカメラにおける肯定度を測定するためのフローチャートである。 Is a flow chart for measuring the positive degree in the camera according to an embodiment of the present invention. 本発明の一実施形態において、言語を推定するときの各言語に対する笑顔度および肯定度の一例を示すグラフである。 In one embodiment of the present invention, it is a graph showing an example of a smile degree and positive index for each language in which to estimate the language. 本発明の一実施形態に係るカメラにおけるカメラの制御動作を示すためのフローチャートである。 The camera control operation of the camera according to an embodiment of the present invention is a flow chart for illustrating. 本発明の一実施形態に係るカメラにおけるカメラの制御動作を示すためのフローチャートである。 The camera control operation of the camera according to an embodiment of the present invention is a flow chart for illustrating. 本発明の一実施形態に係るサーバーにおける画像管理の動作を示すためのフローチャートである。 The operation of the image management in server according to an embodiment of the present invention is a flow chart for illustrating. 本発明の一実施形態に係るカメラの撮影レンズの変形例を示す断面図であり、(a)は複眼レンズとプリズムの組み合わせであり、(b)は複眼レンズとプリズムの組み合わせであり、(c)は凸面反射鏡を利用した変形例である。 It is a cross-sectional view showing a modification of the camera of the imaging lens according to an embodiment of the present invention, (a) is a combination of a compound eye lens and prism, (b) is a combination of the compound lens and the prism, (c ) is a modification using a convex reflector.

以下、図面に従って本発明のガイド装置を適用したカメラを用いて好ましい実施形態について説明する。 Hereinafter, the preferred embodiment will be described with reference to a camera employing a guide device of the present invention with reference to the drawings. 本実施形態においては、撮影に先立って、「日本語にしますか」「英語にしますか」・・と相手に言語を選んでもらう時の相手の表情に従って言語を決定するようにしている。 In the present embodiment, prior to the shooting, so that to determine the language in accordance with the opponent's facial expressions when the get to choose the language in the "Do you want to Japanese," "Do you want to English" ... and the opponent. そして決められた言語による案内を用いて、カメラ撮影を行なうことができるようにしている。 And using guidance by-determined language, so that it is possible to perform photography. これによって言葉が通じない外国の方と写真を通じてコミュニケーションすることができる。 This makes it possible to communicate through those and photos of foreign not understand the words. また、相手に余計な操作を強いることなく、一緒に撮影を行ったり、撮影画像にカメラ所有者の言語と相手の言語でコメントを付与し、両者が撮影された画像をネット上で検索できるようにしている。 In addition, without imposing an extra operation to the other party, and go shooting together, the comments in the language and the partner of the language of the camera owner to grant the captured image, so that the image in which both have been taken can be searched on the net It has to.

図1は、本発明の一実施形態に係わるデジタルカメラとその周辺のブロック図である。 Figure 1 is a block diagram of its peripheral digital camera according to an embodiment of the present invention. このカメラ100は平板型(図2参照)をしており、平板上に、魚眼レンズ等の広角レンズからなる撮影レンズ2を設け、広い範囲の撮影を可能としている。 The camera 100 has a flat plate type (see FIG. 2), on a flat plate, the photographic lens 2 made of a wide-angle lens such as a fisheye lens is provided, thereby enabling imaging of a wide range. これは、撮影者自身をも撮影可能とするためである。 This is because that also can shoot the photographer himself. ユーザーが使用するカメラ100には、撮影レンズ2、AF(オートフォーカス)制御部2a、絞り2b、絞り制御部2c、撮像素子3、アナログフロントエンド(以下、AFEと略す)部4が設けられている。 The camera 100 used by the user, the imaging lens 2, AF (auto focus) control unit 2a, stop 2b, aperture control unit 2c, the imaging device 3, an analog front end (hereinafter, referred to as AFE) unit 4 is provided there. 撮影レンズ2は、内部にフォーカスレンズを有し、入射した被写体20の像を撮像素子3上に結像させる。 Taking lens 2 has a focus lens inside, it forms an image of the incident subject 20 on the image sensor 3.

AF制御部2aは、撮影レンズ2の合焦位置を、後述する画像処理部5内において画像処理を行い、いわゆる山登り法により検出し、フォーカスレンズを駆動して、合焦位置に移動させる。 AF control section 2a, the focus position of the taking lens 2, performs image processing in the image processing unit 5 to be described later, is detected by a so-called hill-climbing method, by driving the focus lens is moved to the focus position. なお、山登り法は、撮影画像のコントラスト信号ピークから合焦位置(ピント位置)を検出する方式であるが、山登り法以外にも、例えば位相差法や三角測距法等公知の合焦方法に置き換えてもよい。 Incidentally, hill climbing method is a method of detecting the focus position (focus position) from the contrast signal peak of the captured image, in addition to the hill-climbing method also, for example, the phase difference method or a triangulation method known focusing method it may be replaced. AFによって合焦位置に達すると、このときの撮影レンズ2を検出することにより、距離判定を行うことができる。 Upon reaching the focus position by AF, by detecting the photographing lens 2 of this time, the distance determination can be performed. この場合、撮影レンズ2がズームレンズのときには、ズーム位置等を加味して距離の判定を行う。 In this case, when the photographing lens 2 is a zoom lens, it is determined the distance in consideration of the zoom position and the like.

撮影レンズ2内または近傍に、シャッタや絞りの効果を奏する絞り2bが設けられる。 In or near the taking lens 2, aperture 2b is provided with the effects shutter and aperture. 絞り2bは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。 Aperture 2b opens up to a predetermined diameter at the time of photographing, is intended to terminate the exposure by closing the exposed ends. 絞り制御部2cは、絞り2bを駆動して絞り径を設定する。 Aperture control unit 2c sets the aperture diameter by driving the aperture 2b. この絞りを変えることによって、レンズの被写界深度が変化するので、背景のぼけ具合などを調整して、被写体を浮かび上がらせたり、背景をしっかりと描写したりするなど、表現の切り替えを行うことができる。 By varying the aperture, since the depth of field of the lens is changed, by adjusting the degree of blur of the background, or to highlight an object, etc. or firmly depict background, to perform the switching of the expression can. 撮像素子3は、多数の受光面(画素)からなるCCDやCMOSセンサ等であり、撮影レンズ2を介して被写体20からの像を受光しこれを画像信号に変換する。 The imaging device 3 is a CCD or CMOS sensor or the like comprising a number of light-receiving surface (pixel), through the taking lens 2 and converts it to receive an image from an object 20 to an image signal.

アナログフロントエンド(AFE)部4は、アナログデジタル(AD)変換手段を含み、撮像素子3からの信号をデジタル信号化する。 An analog front end (AFE) unit 4 includes an analog-to-digital (AD) converter, a digital signal the signal from the imaging device 3. そして、AFE部4は、撮像素子3から出力される画像信号について各種処理を行う。 Then, AFE unit 4 performs various processes on the image signal output from the image sensor 3. また、AFE部4には、撮像素子3のいくつかの画素をまとめて、一括して読み出す機能も設けられている。 Further, the AFE section 4, summarizes some of the pixels of the imaging device 3 is also provided function for reading collectively. たとえば、4画素(2×2)や9画素(3×3)など、各画素の信号レベルが小さいときには、いくつかの画素信号を加算して、S/Nを向上させることができ、また、感度を上げることも出来る。 For example, such 4 pixels (2 × 2) and 9 pixels (3 × 3), when the signal level of each pixel is small, by adding a number of pixel signals, it is possible to improve the S / N, also, it is also possible to increase the sensitivity.

このような操作によって感度を上げることができ、シャッタスピードを速くする等、撮影上の工夫が可能となる。 Sensitivity can be increased by such operation, etc. to increase the shutter speed, it is possible to devise on shooting. シャッタスピードが速いと、動いている被写体が止まっているように撮影することが可能となる。 When the shutter speed is fast, it is possible to photograph as stopped moving subject.

また、AFE部4は、撮像素子3の出力する信号を取捨選択する機能を有し、受光範囲の中から限られた範囲の画像データを抽出することが出来る。 Also, AFE unit 4 has a function to sift the signal output from the image pickup device 3, it is possible to extract the image data of a limited range from within the receiving range. 一般に撮像素子3の画素から間引いた画素信号を抽出する場合には、高速読出が可能となる。 Generally when extracting a pixel signal obtained by thinning out the pixels of the imaging device 3, thereby enabling fast reading. これにより構図確認用の画像信号を、画像処理部5によって高速処理し、表示制御部8aを介して表示パネル8に表示することにより、フレーミングが可能となる。 This by the image signal for confirmation composition, and high-speed processing by the image processing unit 5, by displaying on the display panel 8 via the display control unit 8a, it is possible framing.

AFE部4の出力は、画像処理部5に接続されている。 The output of the AFE section 4 is connected to the image processing unit 5. 画像処理部5は、入力信号の色や階調やシャープネスを補正処理する。 The image processing unit 5 corrects process color and gradation and sharpness of the input signal. また、撮像素子3から得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感部を有している。 Further, by amplifying the image signal obtained from the image pickup device 3 to a predetermined level, it has the correct shading, Sensitizing portion in the right gray level. これは、デジタル化された信号レベルが、所定レベルになるようにデジタル演算するものである。 This digitized signal level, is to digital operation to a predetermined level. また、画像処理部5は、スルー画像(ライブ画像とも言う)をリアルタイムに表示部に表示できるように、撮像素子3からの信号を表示パネル8に表示できるようなサイズに加工するリサイズ部を有する。 The image processing unit 5 includes, as a through image (also referred to as a live image) can be displayed on the display unit in real time, with the resizing unit for processing sized to show a signal from the image pickup device 3 on the display panel 8 . この働きによって、撮影に先立って撮像素子に入射する像を確認でき、これを見ながら撮影時のタイミングやシャッタチャンスを決定することが出来る。 This work, can see the image incident on the imaging element prior to the shooting, which saw while it is possible to determine the timing and shutter chance during shooting.

また、この画像処理部5の信号を利用して、撮像素子3から入力されてくる画像の特徴などを判定する画像判定機能を有している。 Further, the utilizing the signal of the image processing unit 5, and a determining image determination function and characteristics of the image input from the imaging element 3. 例えば、画像情報を加工して得られる輪郭情報から、撮像しているものの形状を検出する形状判定部5a、また、画像の特徴を調べて、主要被写体の位置を検出する顔検出手段5dなどが、このシステムには含まれている。 For example, from the outline information obtained by processing the image information, the shape determination unit 5a detects the shape of what is captured, also examine the characteristics of the image, such as a face detection unit 5d for detecting the position of the main subject is , it is included in this system. これは、写真撮影時に、ユーザーがどのような写真を撮ろうとしているかを判定して、撮影制御を最適化するためのものである。 This is the time of photography, it is determined whether the user is trying to take what photos, is intended to optimize the imaging control.

また、画像処理部5は、前述した画像のコントラストを判定する機能を有し、撮影レンズのピント合わせ手段との連動で、オートフォーカスの制御を行う。 The image processing unit 5 has a function of determining the contrast of the image as described above, in conjunction with the focusing means of the taking lens, and controls the autofocus. 撮影レンズ2のピント合わせ時のレンズ位置の情報によって、被写体の距離や、背景の距離などが判定できる。 The information of the lens position at the time of focusing of the taking lens 2, and the distance of an object, such as the distance of the background can be determined.

この撮影レンズ2は、魚眼レンズのような広角レンズであるので、図5に示すように、円形で示す広い領域の映像範囲51に被写体像が結像し、撮影可能である。 The photographing lens 2, since it is a wide-angle lens such as a fisheye lens, as shown in FIG. 5, the subject image is focused on the image range 51 of a wide area indicated by the circle, it is possible shooting. しかし、周辺部の撮影記録範囲52の画像は、図示の如く扇型の大きな歪みを生じてしまう。 However, the image of the shooting recording range 52 of the peripheral portion occurs large strain of the fan-shaped as shown. そこで、画像処理部5内の歪み補正部5bにおいて、図示の如く歪のない矩形画像53に補正する。 Accordingly, the distortion correction unit 5b in the image processing unit 5 corrects the rectangular image 53 without as shown strain. 本実施形態においては、撮影レンズ2で撮影し得る画像のすべてを記録するのではなく、このように、一部の画像(撮影記録範囲52の画像)を取り出して記録し、他の画像部分は、別の操作時に利用している。 In the present embodiment, instead of recording all the images that can be photographed by the photographing lens 2, thus, to record taken out part of the image (image capturing recording range 52), the other image portion , it has been used at the time of another operation. また、この撮像結果を利用して、後述するように、顔の表情なども読み取る。 Moreover, by utilizing the imaging results, as will be described later, it reads well as facial expressions. なお、撮影レンズ2に代えて、後述する図14に示すような複数のレンズやプリズムを利用して、広い範囲を撮影可能としてもよい。 Instead of the photographic lens 2, by using a plurality of lenses and prisms as shown in FIG. 14 to be described later, it may be capable of capturing a wide range.

また、画像処理部5には、撮像素子3によって得られた顔画像から、顔の表情を判定する表情判定部5cが接続されている。 The image processing unit 5, from the face image obtained by the image pickup device 3, is connected determines the facial expression determination unit 5c facial expressions. 表情判定部5cによって、撮影以外の状況判定や被写体の意思までを判定することができる。 The facial expression determination unit 5c, it is possible to determine to intention of status determination and subject other than shooting. すなわち、カメラ100は、後述するように、多言語辞書のデータベース部12を有しており、これから所定の会話フレーズを読み出して音声発生部14で音声として順次、言語を変えながら出力したり、表示部8に順次表示したりして、それを見たときの顔の表情変化によって、どの言語が一番、通じる言葉であるかを判定できる。 That is, the camera 100, as described later, has a database unit 12 of the multi-language dictionary, successively as a voice by the voice generator 14 now reads the predetermined phrase, and outputs while changing the language, display sequentially displayed or to in section 8, by facial expressions change when I saw it, it can be determined whether it is a word that any language is the most leads. この言語の選択は、表情判定部5cの出力を用いて行なっている。 This language selection is performed using the output of the facial expression determination unit 5c. また、言語情報を利用して、画像の適切な整理を行なえるようにしている。 In addition, by using the language information, and for perform the appropriate arrangement of the image. すなわち、撮影された人が外国の人である場合、日本語での画像検索は困難なので、撮影された人の使う言語で画像の整理を可能としている。 In other words, if the photographed person is a foreign person, the image search is because it is difficult in Japanese, is it possible to organize image in the language use of the captured man.

カメラ100には、圧縮部6、記録部9a、記録メディア9、データ送受信部9c、表示パネル8、表示制御部8a、辞書/カメラ表示切替部8b、バックライト(BL)8c、バックライト(BL)制御部8d、多言語辞書部12が設けられている。 The camera 100, the compression section 6, the recording unit 9a, the recording medium 9, the data transceiver unit 9c, a display panel 8, the display control unit 8a, a dictionary / camera display switching unit 8b, a backlight (BL) 8c, the backlight (BL ) control unit 8d, multilingual dictionary unit 12 is provided. 圧縮部6は、撮影時に画像処理部5から出力された信号を圧縮する。 Compressing section 6 compresses the signal output from the image processing unit 5 during photographing. 圧縮部6内には、MPEG(Moving Picture Experts Group)4やH. In the compression section 6, MPEG (Moving Picture Experts Group) 4 or H. 264などの圧縮用コア部で構成される動画用の圧縮部及び JPEG(Joint Compression unit and JPEG (Joint for moving consists of compressing the core portion such as 264
Photographic Experts Group)コア部など静止画像用の圧縮部が設けられる。 Compression unit for Photographic Experts Group), etc. The core portion still image is provided. また、圧縮部6は記録メディア9に記録されている画像を表示パネル8に再生する際には、画像伸張も行なう。 The compression unit 6 when reproducing the image recorded on the recording medium 9 on the display panel 8 also performs image decompression.

記録部9aは、圧縮された画像信号を記録メディア9に記録する。 Recording unit 9a records the compressed image signal on a recording medium 9. 記録メディア9はカメラに着脱可能な保存用の記録媒体である。 Recording medium 9 is a recording medium for storage detachable from the camera. なお、画像信号の記録にあたっては、前述の圧縮された画像データのほか、撮影時間等の付随データも併せて記録される。 Incidentally, when the recording of the image signal, in addition to the image data of the aforementioned compressed, is also recorded accompanying data such as imaging time. 撮影時間情報は、後述するMPU1内の時計部1tによって計測されており、MPU1は画像と関連付を行なう。 Photographing time information is measured by the clock unit 1t in MPU1 described later, MPU1 do associate with the image.

記録メディア9や記録部9aに記録された撮影画像データは、RFIDのようなICカードやワイヤレスLANなどの技術を利用した無線データ送受信部9cによって、インターネット32経由で、他の機器、例えば、画像を管理するサーバー34等の他の機器に転送することができる。 Photographed image data recorded on the recording medium 9 and the recording unit 9a by the wireless data transceiver 9c utilizing technologies such as IC cards and wireless LAN, such as RFID, via the Internet 32, other devices, for example, image it can be transferred to another device servers 34 or the like for managing. サーバー34に送信した画像は、第三者31にすぐ見せることができ、画像を見ながらのコミュニケーションの促進が可能となっている。 Image that was sent to the server 34, can be made to look immediately to a third party 31, the promotion of communication while viewing the image is possible. また、このインターネット32には、翻訳サービスを行なう翻訳サービスサーバー33が接続されている。 In addition, in this Internet 32, the translation service server 33 to perform the translation services are connected.

表示パネル8は、例えば液晶や有機EL等から構成され、この表示パネル8の裏面には白色LEDなどのバックライト8cが配置されており、このバックライト8cはバックライト(BL)制御部8dに接続され、これによって制御される。 Display panel 8 is composed of, for example, a liquid crystal or organic EL or the like, on the back surface of the display panel 8 and the backlight 8c such as white LED is disposed on the backlight 8c backlight (BL) controller 8d connected and controlled thereby. バックライト8cからの光を表示パネル8に照射することにより、表示パネル8の視認性を向上することができ、また、見えが悪い場合には、ユーザーの操作によりBL制御部8dは明るさを増すように制御する。 By irradiating the light from the backlight 8c on the display panel 8, it is possible to improve the visibility of the display panel 8, and when seen is poor, the BL control unit 8d the brightness by the user's operation to control so as to increase.

また、後述するMPU1には多言語辞書のデータベース部12が接続されており、この多言語辞書データベース12は、旅行の際によく用いられる所定の会話フレーズ等を多言語に対応して記憶している。 Further, the MPU1 to be described later is connected database unit 12 of the multi-language dictionary, the multilingual dictionary database 12, and stores the corresponding well given the phrase like multilingual used in travel there. この多言語による会話フレーズ等は、表示パネル8に表示される。 Phrases such as by the multiple languages, is displayed on the display panel 8. このため表示制御部8a内には、辞書/カメラ表示切替部8bが設けられている。 The order display control unit 8a, a dictionary / camera display switching unit 8b is provided. この辞書/カメラ表示切替部8bは、後述するように各種設定状態に応じて、液晶パネル8における辞書表示とカメラ表示の切り替えを行なう。 The dictionary / camera display switching unit 8b, in accordance with the various settings as described below, to switch the dictionary display and camera display in the liquid crystal panel 8.

したがって、表示パネル8は、撮影時には被写体観察用に被写体画像を表示し、再生時には伸張処理された撮影画像を表示し、また、辞書表示時には会話フレーズ等を表示する。 Thus, the display panel 8, displays the subject image for a subject observation during shooting, displays a photographed image expansion processing during reproduction, also at the time of dictionary display to display a phrase like. なお、表示パネル8には、撮影して送信済み画像を一覧表示して、そこからサーバー34が運営するブログサービスなどにアップする画像や、アップして、ブログに表示する時のレイアウトを選択できるようにしてもよい。 In addition, the display panel 8, taken by the transmitted image and display list, there image and to be up, such as the blog service that the server 34 is operated from, and up, can select the layout of the time to be displayed on the blog it may be so.

カメラ100には、補助光発光部11、MPU(Micro Processing Unit)1、レリーズスイッチ1a(なお、1aはレリーズ釦を意味することもある)、モード切替スイッチ1b、他のスイッチ1cが設けられている。 The camera 100, an auxiliary light emitting unit 11, MPU (Micro Processing Unit) 1, a release switch 1a (Note, 1a is also mean release button), the mode selector switch 1b, and the other switch 1c is provided there.

補助光発光部11は、白色LEDやXe放電発光管を有し、電流量で光量が制御できるようになっている。 Auxiliary light emitting unit 11 includes a white LED or Xe discharge tube, light intensity at the current amount is adapted to be controlled. 状況に応じて被写体20に光を照射して、明るさの不足や不均一な明るさを防止する。 By irradiating light to the object 20 depending on the situation, to prevent shortage and uneven brightness of the brightness. また、この補助光は、後述するように、被写体以外に対しても照明を行ない、モード切替の際の判定に使用する。 Further, the auxiliary light, as described later, performs illumination even for other subjects, used to determine the time of mode switching. また、MPU1には、音声発生部14が設けられており、多言語辞書データベース12から読み出された会話フレーズに従って音声を発生するためのスピーカーが接続されている。 Further, the MPU 1, is provided with voice generating unit 14, a speaker for generating a sound in accordance phrases read from the multi-language dictionary database 12 is connected.

MPU1は、カメラ全体の制御を司る制御手段である。 MPU1 is a control unit for controlling the entire camera. レリーズスイッチ1a、モード切替スイッチ1b、他のスイッチ1cおよびプログラム等を記憶したROM(不図示)が、MPU1に接続される。 Release switch 1a, the mode selector switch 1b, ROM that stores the other switches 1c and programs (not shown) is connected to the MPU 1. MPU1内には、前述したように、日や時刻を検出するための時計部1tが設けられており、写真の撮影日時を検出し、撮影画像と関連付けを行う。 In the MPU 1, as described above, it is provided with a clock unit 1t to detect the date and time, and detects the photographing date and time, to associate with the captured image. なお、スイッチ1b、1cは、スイッチを総称的に表示したものであって、実際には多数のスイッチ群から構成されている。 The switch 1b, 1c in this section of the specification collectively displaying the switch actually is composed of a number of switch groups.

各スイッチ1a〜1cは、ユーザーの操作を検出して、その結果をマイクロコントローラからなる演算制御手段であるMPU1に通知する。 Each switch 1a~1c detects a user's operation, and notifies the result to the MPU1 is an arithmetic control means comprising a micro controller. MPU1が、これらのスイッチの操作に従って動作を切り換える。 MPU1 is, switching the operation according to the operation of these switches. これらのスイッチの操作に従って、撮影/再生のモード切替や撮影モードの切替、画像送信の設定、キーワード選択、会話フレーズ選択なども行えるようになっている。 According to the operation of these switches, switching of the recording / playback mode switching and shooting mode, setting of the image transmission, so that the keyword selection, can also be performed such phrases selected. また、MPU1は撮影時には、AF制御部2aや絞り制御部2c等の制御を行う撮影制御部として機能する。 Also, MPU 1 during photographing functions as an imaging control unit for performing control such as AF control unit 2a and the aperture control unit 2c. また、画像の再生機能、辞書機能等の各種機能の切り替えを行う。 The reproduction function of the image, to switch the various functions such as dictionary function.

次に、図2ないし図4を用いて、カメラ100の外観構造と使用方法について説明する。 Next, with reference to FIGS. 2 to 4, will be described external structure of the camera 100 and the method used for. まず、このカメラ100の外観は、図3および図4の示すように、本体部10の上面に、魚眼レンズで構成される撮影レンズ2と、表示用の表示パネル8と、レリーズボタン1aが設けられている。 First, the appearance of the camera 100, as shown by FIGS. 3 and 4, the upper surface of the main body portion 10, a photographing lens 2 composed of a fisheye lens, a display panel 8 for display, the release button 1a is provided ing. また、本体部10には、言語名や会話フレーズ等を音声合成で再生するスピーカー等からなる音声発生部14が設けられている。 Further, the main body portion 10, the sound generating unit 14 composed of a speaker or the like to be reproduced by voice synthesis a language name or phrase, and the like. 本体部10の側部側には、補助光発光部11が設けられている。 The side portion of the main body portion 10 is provided with an auxiliary light emitter 11.

撮影レンズ2は、図3(a)(b)に示すように、表示パネル8の面に対して、ほぼ垂直方向が光軸となるように、カメラ100の本体部10に取り付けられている。 Taking lens 2, as shown in FIG. 3 (a) (b), with respect to the plane of the display panel 8, so that substantially vertically the optical axis, is attached to the main body portion 10 of the camera 100. この撮影レンズ2に対して、矢印16はユーザー21と本実施形態に係わるガイド装置によってコミュニケーションをとる被写体20(相手方)の両者を一緒にとるときの撮影方向である。 For this photographing lens 2, an arrow 16 is the imaging direction of when taking together both subject 20 (other party) that to communicate by a guide device according to the present embodiment as the user 21. また、矢印17は、被写体(相手方)20をモデルとして撮影する場合の撮影方向である。 The arrow 17 is a photographing direction when photographing an object (counterparty) 20 as a model. また、矢印23、24は、表示パネル8のバックライト8cによるユーザー21および相手方20への照射光の方向を示している。 The arrow 23 indicates the direction of the irradiation light to the user 21 and the counterparty 20 by the backlight 8c of the display panel 8. 矢印25(図3(b))は、補助発光部11による照射方向を示している。 Arrow 25 (FIG. 3 (b)) shows the irradiation direction by the auxiliary light emitting unit 11.

撮影レンズ2は魚眼レンズのような広角レンズによって構成されているので、撮影レンズ2によって、図5に示す映像範囲51に相当する画像が結像される。 Since the taking lens 2 is constituted by a wide-angle lens such as a fisheye lens, the imaging lens 2, an image corresponding to the image range 51 shown in FIG. 5 is imaged. この映像範囲に対して、撮像素子3は撮像範囲54の画像について光電変換できる。 For this image area, the image pickup device 3 can be converted photoelectrically the image of the imaging range 54. 撮影記録範囲52は、前述したように光学的に歪んでいるが、画像処理部5内の歪み補正部によって矩形53に補正される。 Imaging recording range 52, although distorted optically as described above, is corrected to the rectangle 53 by the distortion correction unit of the image processing section 5. また、撮影レンズ2に対して、モデルとしての被写体20の撮影方向が矢印25の場合には、モデル撮影範囲56で画像が形成される。 Further, with respect to the photographic lens 2, the photographing direction of the object 20 as a model in the case of the arrow 25, an image is formed by the model imaging range 56. 補助光発光部11と表示パネル8のバックライト8cによる補助光範囲55は、撮影記録範囲52とモデル撮影範囲56をカバーする領域である。 Auxiliary light range 55 by the backlight 8c of the auxiliary light emitting unit 11 and the display panel 8 is an area covering the imaging recording range 52 and model imaging range 56.

本実施形態においては、撮影レンズ2によって映像範囲51の画像が得られるが、撮影に当たっては、画像の一部しか使わない。 In the present embodiment, although the image of the image range 51 is obtained by the photographing lens 2, when photographing, it uses only part of the image. すなわち、ユーザー21と被写体(相手方)20が一緒に撮影する場合には、撮影記録範囲52の画像を使用する。 That is, when the user 21 and the object (the other party) 20 is taken together uses an image capturing recording range 52. また、被写体(相手方)20を撮影する場合には、モデル撮影範囲56の画像を使用する。 Also, when photographing an object (counterparty) 20 uses the image of the model imaging range 56. したがって、補助光の照射範囲は、撮影記録範囲52+α、またはモデル撮影範囲56+αの領域を照射できればよい。 Therefore, the irradiation range of the auxiliary light may if irradiated areas of the imaging recording range 52 + alpha, or model the imaging range 56 + alpha. 後述するように、図2のように、カメラ100の近くにユーザー21および被写体(相手方)20が存在する場合には、表示パネル8のバックライト8cの光を利用すればよい。 As described later, as shown in FIG. 2, when the user 21 and the object (the other party) 20 exists in the vicinity of the camera 100, may be utilized light backlight 8c of the display panel 8.

このようなガイド装置を有するカメラ100において、会話フレーズを使用する辞書モードとカメラモードを切り替える方法について説明する。 In the camera 100 having such a guide apparatus, a description will be given of a method of switching a dictionary mode and camera mode to use the phrase. 図2は撮影に先立って、カメラ100を利用してユーザー21が、被写体20とコミュニケーションを取っているところを示している。 Figure 2 is prior to photographing, the user 21 by using the camera 100 shows a place which is taking an object 20 and communicate. ユーザー21のカメラ操作によって、音声発生部14からは、順次、世界各国の代表的な言語で、「この言葉でいいですか」という内容の音声を再生する。 By the camera operation of the user 21, is from the sound generating unit 14, sequentially, in the typical language of the world, to play the sound of the content of "Are you sure you want is this word." 撮影レンズ2は前述したように魚眼レンズ等の広角レンズで、モニタ範囲22の像を捉えることができる。 Taking lens 2 in wide-angle lens such as a fisheye lens as described above, it is possible to capture an image of the monitor area 22. そして、この時の被写体の人物の表情は、撮影レンズ2を通して撮像素子3の撮像記録範囲52から画像信号に基づいてモニタされている。 Then, the facial expression of the person of the subject at this time, is monitored on the basis of the image signal from the imaging recording range 52 of the image pickup element 3 through a camera lens 2. なお、音声発生部14から音声の代わりに、または音声と共に表示パネル8に、おなじ言葉を順次表示するようにしてもよい。 Incidentally, from the sound generating unit 14 in place of the voice, or the display panel 8 together with audio, it may be displayed sequentially same words.

このように表情をモニタしていると、被写体(相手方)20が分かる言語の再生時には、被写体20の表情が変わる。 By such monitoring the facial expression at the time of reproduction of the object (the other party) 20 it is found language, change facial expressions of the subject 20. この表情の変化を認識し、変化したときの言語が、その被写体20が使用する使用言語であると判定する。 Language in which the change in facial expression recognize varied it is determined that the language of the subject 20 is used. 使用言語が分かると、その使用言語を用いて、図2(b)に示すように、撮影してよいかどうかの質問を行なうことができる。 When language is found, using the language, as shown in FIG. 2 (b), it can be performed either question whether may be photographed. これによって、撮影の許可を得ることが出来る。 As a result, it is possible to obtain the permission of the shooting.

コミュニケーションをとるにあたっては、表情の変化だけでなく、仕草の変化等を検出するようにしてもよい。 In taking the communication, not only a change in facial expression, it is also possible to detect the changes in the gesture. また、マイクを設け、被写体20の返答の調子やタイミング等を補助的に用いて、被写体20が使用している言語を推定するようにしてもよい。 Further, a microphone is provided, the answer tone and timing of the subject 20 using the auxiliary, may be estimated a language object 20 is used.

図3(a)は、図2の状態からそのまま、一緒に撮影する場合を示している。 3 (a) is, as from the state of FIG. 2 shows a case of shooting with. なお、カメラ100は側面方向から見た断面図として表示し、各機能の配置を分かりやすく示している。 The camera 100 is shown displayed as a sectional view seen from the side, easy-to-understand placement of each function. 表示パネル8には、撮像結果を表示し(図4(a)参照)、表示パネル8を観察しながら、表情を決めて撮影を行う(「一緒撮影」と称す)。 On the display panel 8 displays the imaging result (see FIG. 4 (a)), while observing the display panel 8, performs photographing decide expression (referred to as "combined imaging"). 構図と表情がよければ、レリーズ釦1aを操作し、撮影を行う。 If you're composition and expression, to operate the release button 1a, take a photograph.

周囲が暗い場合には、表示パネル8のバックライト8cを利用して、被写体20を照明するようにしてもよい。 When the ambient is dark, using the backlight 8c of the display panel 8, it may be illuminating the object 20. 照明を行なう時には、撮影のタイミングで表示パネル8の液晶を透過状態にすればよい。 When performing the illumination may be a liquid crystal display panel 8 in the transmitting state at a timing of shooting. また、図2の状態で、そのままの位置で一緒撮影を行わずに、被写体20を一人で撮影する場合には、図3(b)に示すように、撮影レンズ2の広角レンズを利用し、異なる撮影方向17からの像を表示パネル8に表示し、撮影するようにしてもよい。 Further, in the state of FIG. 2, without the combined shot in situ, when photographing an object 20 alone, as shown in FIG. 3 (b), using a wide-angle lens of the taking lens 2, displayed on the display panel 8 images from different imaging directions 17 may be photographed. これを「モデル撮影」と称する。 This is referred to as a "model photography".

このような広角レンズの撮影レンズ2から得られる画像における、一緒記録の範囲とモデル撮影の範囲は、前述したように、それぞれ撮影記録範囲52とモデル撮影範囲56である。 In the image obtained from the photographing lens 2 of this wide-angle lens, the range of combined recording range and model shoot, as described above, are each imaging recording range 52 and model imaging range 56. 広角レンズを使用することから取得画像は、かなり歪みの目立つものである。 Acquiring images from the use of wide-angle lens has a fairly noticeable distortion. このため、矩形画像53となるように、画像処理部5の歪み補正部5bによって画像の上の部分は縮めるような補正を行い、通常の写真のように四方形の画像に変換してから表示し、また記録メディア9等に記録を行う。 Display Therefore, as a rectangular image 53, the upper part of the image by the distortion correction unit 5b of the image processing section 5 performs correction as shortening, as conventional photographic after converting into square-shaped image and, also performs recording on the recording medium 9, and the like.

一緒記録の場合には、扇形の部分(撮影記録範囲52)のみを切り出して使うので、撮像素子3は、点線の四方形の撮像範囲54のみをカバーすればよい。 If together recording, because it uses cut only sector portions (photographic recording area 52), the imaging element 3 may be covered only the imaging range 54 of the dotted square shaped. また、補助光範囲55も点線の楕円で示した領域をカバーすればよく、広角の全域をカバーする必要はない。 The auxiliary light range 55 also may be it covers an area indicated by a dotted line ellipse need not cover the wide angle throughout.

こうして撮影された画像には、キーワードをつけて整理するようにしておく。 Thus the captured image, keep so as to organize with the keyword. キーワード付けにあたっては、図4(b)に示すように、表示パネル8に符号23で示すように、撮影者(ユーザー)21の国の言葉で決めたキーワードと、被写体20の国の言葉に訳したもの(翻訳時には、先に判定した、被写体の使う言葉の判定結果を利用する)を表示する。 When the keyword with, as shown in FIG. 4 (b), as indicated by reference numeral 23 on the display panel 8, and keywords decided in the language of the country of the photographer (user) 21, translation into words of the subject 20 countries (at the time of the translation, it was determined earlier, to use the judgment result of words that use of the subject) was intended to display. これによって、被写体にとっても検索しやすいキーワードとなり、この撮影を行った後、別れてからも、インターネットで各自の日常語にて検索することが可能となり、簡単にこの画像を探すことができる。 This also makes the search easy keyword for the subject, after this shooting, even after the separation, it is possible to search in their everyday language on the Internet, it can be easy to find the image.

図2において、被写体20の表情の変化によって、いずれの言語を理解しているかを判定していた。 2, a change in facial expression of the subject 20, was to determine whether they understand any language. この表情の変化の判定方法について図6を用いて、表情を数値Rに数値化する方法について説明する。 Method for determining changes in the expression with reference to FIG. 6, a description will be given of a method to quantify the value R of the expression. 図6は、言葉が理解できたときに、人が表す笑顔(a)と、理解できないときの困った顔(b)を比較したものであり、両者を比較すると、眼と口元に特徴があることが分かる。 6, when the words could be understood, smile (a) representing a person, and a comparison of the troubled face (b) when you can not understand, when comparing the two, is characterized by eye and mouth it can be seen.

すなわち、眼を比較すると、両目の瞳の中心を結んだ線61の上側に白目が多いと、笑顔に近いことが分かる。 That is, when comparing the eye, when the upper line 61 connecting the centers of the pupils of both eyes whites is large, it can be seen close to the smile. また、口元も、同様な考え方で判定できる。 In addition, the mouth can also be judged in the same way of thinking. つまり、口の両端を結んだ線62より、下側にある唇部の面積が広いと、笑顔の度合いも大きくなる。 In other words, the line 62 connecting the corners of the mouth, the wide area of ​​the lip at the bottom, the greater the degree of smile.

図6で示した判定方法を利用して笑顔度Rを求める方法について、図7に示すフローチャートに基づいて説明する。 Utilizing the determination method shown in FIG. 6 method for determining the degree of smile R, it will be explained based on a flowchart shown in FIG. まず、目部と口部の検出を行なう(S151)。 First, the detection of the eye portion and the mouth portion (S151). これは、撮像素子3の出力に基づいて、顔検出部5dによって顔を検出し、その検出された顔の中から眼と、口の部分をパターン認識により抽出する。 This is based on the output of the image sensor 3 detects the face by the face detection unit 5d, and the eye from the detected face is extracted by the pattern recognition portions of the mouth.

続いて、ステップS152からS154において、眼の白目の面積から笑顔度を検出する。 Subsequently, in steps S152 S154, it detects the smile degree from the area of ​​pewter eye. まず、両目の瞳を結ぶ線61より上側の白目の面積を測定し、この値をEAとする(S152)。 First, the area of ​​the upper whites were measured from a line 61 connecting the pupils of both eyes, this value with EA (S152). 同様に、線61より下側の白目の面積を測定し、この値をEBとする(S153)。 Similarly, by measuring the area under the white eye the line 61, to the value as EB (S153). 次に、こうして得たEA、EBの差を、これらの和で正規化して、すなわち、(EA−EB)/(EA+EB)を求め、数値REを得る(S154)。 Then, thus obtained EA, the difference between the EB, normalized by the sum of these, i.e., (EA-EB) / seeking (EA + EB), obtaining a numerical RE (S154). 数値REは大きいほうが、笑顔度が高いと判定される。 Numerical RE is better is large, it is determined that there is a high degree of smile.

次に、ステップS155からS157において、唇の面積から笑顔度を検出する。 Then, in steps S155 S157, it detects the smile degree from the area of ​​the lips. まず、口の両端を結ぶ線62より上側の唇の面積を測定し、この値をLAとする(S155)。 First, the area of ​​the upper lip to measure the line 62 connecting both ends of the mouth, and this value and LA (S155). 同様に、線62より下側の唇の面積を測定し、この値をLBとする(S156)。 Similarly, by measuring the area under the lip from the line 62, to the value as LB (S156). こうして得たLA、LBの差を、これらの和で正規化して、すなわち、(LB−LA)/(LA+LB)を求め、数値RLを得る(S157)。 LA, the difference between the LB thus obtained, normalized by the sum of these, i.e., (LB-LA) / seeking (LA + LB), obtaining a numerical RL (S157). 数値RLは大きいほうが、笑顔度が高いと判定される。 Numerical RL is better is large, it is determined that there is a high degree of smile.

続いて、ステップS154とS157で得た値REとRLを加算して笑顔度Rを求める(S158)。 Then, determine the smile degree R by adding the value RE and RL obtained in step S154 and S157 (S158). 値Rが大きいほど笑顔に近いことになる。 It will be close to a smile as the value R is large. さらに、笑顔度の判定の精度を高めるために、図6(a)の矢印64付近の状態を判定する(S159)。 Furthermore, in order to increase the accuracy of determination of the degree of smile, it determines the state of the vicinity of the arrow 64 in FIG. 6 (a) (S159). すなわち、口の端部に影があり、歯が見えていれば、笑顔の確率が高いので、それを判定する。 In other words, there is a shadow at the end of the mouth, if you see the teeth, because of the high smile of probability, and determines it. 判定の結果、歯が見えており、かつ口端部に影があれば、笑顔度Rに1点、加算する(S160)。 Result of the determination, the teeth are visible, and if there is a shadow in the mouth end, one point smile degree R, adding (S160).

ただし、眉間にしわがあると笑顔とは言えないので、ステップS161で判定する。 However, because it can not be said that smile when there is a wrinkle between the eyebrows, it is determined in step S161. すなわち、図6(b)の矢印65付近において眼の間の皺があるか否かの判定を行なう(S161)。 That is, it is determined whether there is wrinkled between the eye near the arrow 65 in FIG. 6 (b) (S161). 判定の結果、眉間の間に皺を検出した場合は、笑顔度Rから1点、減点する(S162)。 Result of the determination, if it detects a wrinkle during eyebrows, one point from the smile degree R, is penalized (S162). このように笑顔に近いほど高得点になる数値化(R)が可能となる。 In this way quantify closer to smile becomes a high score (R) is possible.
なお、本実施形態においては、両目の瞳の中心を結んだ線より上側に白目が多いか否かで笑顔度を求めたが、これに限らず、上瞼の傾き等によって求めるようにしてもよい。 In the present embodiment, to determine the degree of smile above the line connecting the centers of the pupils of both eyes on whether the whites of many, not limited thereto, be calculated by the inclination of the upper eyelid or the like good. すなわち、図6において、瞼の幅EHに対し、瞼の一番高いところの位置ETを求め、これの比、ET/EHによっても笑顔度を求めることができる。 That is, in FIG. 6, with respect to the width EH eyelid obtain the position ET of the highest place of the eyelid, which ratio can be obtained even smile degree by ET / EH. ET/EHが大きくなると笑顔に近くなり、また、この比が小さくなり、上瞼の傾きが大きくなると笑顔から遠ざかる傾向にある。 Near become smile ET / EH becomes large, the ratio becomes smaller, there is a tendency away from smile inclination of the upper eyelid is increased.

本実施形態においては、表情を数値化したので、常時、顔をモニタし、その表情の数値を記録しておき、理解できない言葉から、理解できる言葉になった時に表情が変化すると、笑顔度Rの値が大きくなったり、大きく変化するので、これを判定して、日常使用言語の判断を行うようにしている。 In the present embodiment, since the digitized facial expressions, constantly monitors the face may be recorded a number of facial expressions, the words can not be understood, when the facial expression is changed when it becomes words that can be understood, the smile degree R or the value becomes large, so greatly changed, to determine this is to perform the determination of everyday language.

本実施形態においては、表情の変化の検出のために、笑顔度Rを測定しているが、これの変形例である肯定度Aについて図8および図9を用いて説明する。 In the present embodiment, in order to detect the change in facial expression, but measures the smile degree R, the positive degree A is a modification of this will be described with reference to FIGS. 肯定度Aは、笑顔度Rに代えて、または笑顔度Rと一緒に用いることができる。 Positive degree A can be used instead of the smile degree R, or together with smile degree R. 図8は、顔が正面を向いているときと(図8(a))、下を向いたとき(図8(b))、横を向いたとき(図8(c))の様子を示す。 Figure 8 shows the state of when the face is facing the front (FIG. 8 (a)), when facing down (Fig. 8 (b)), when facing the horizontal (FIG. 8 (c)) . すなわち、理解できる言葉を聴いたときには頷く(肯定)ので、図8(b)に示すように、目の中心部からΔYだけ、顔は下向きに動く。 That is, since nods when listening to words that can be understood (Yes), as shown in FIG. 8 (b), only ΔY from the center of the eyes, face moves downward. 一方、理解できない言葉を聴いたときには、顔を振る(否定)ので、図8(c)に示すように、目の中心部からΔXだけ、顔は横を向く。 On the other hand, when listening to words that can not be understood, since shake face (negative), as shown in FIG. 8 (c), only ΔX from the center of the eyes, face facing the side. このように、目の中心の移動を見て、肯定か否定かを判定することができる。 Thus, looking at the movement of the center of the eye, it is possible to determine whether positive or negative.

図9は、顔の中心が所定期間に横に動いた(否定方向)か、縦に動いた(肯定方向)かを検出し、被写体(相手方)20の応答を判定するフローチャートである。 9, or the center of the face has moved laterally during the predetermined period (negative direction), it is detected whether or not the moved vertically (positive direction), a flowchart determining the response of a subject (counterparty) 20. 顔が横に動いた回数、または頻度と縦に動いた回数、または頻度で、肯定の動きの方が目立つときは、肯定度Aの値が大きくなるように設定してある。 Number face has moved laterally or frequency and number vertically moved or frequency, when the direction of positive movement is conspicuous is set such values ​​in the positive degree A increases.

図8で示した判定方法を利用して肯定度Aを求める方法について、図9に示すフローチャートに基づいて説明する。 Method of obtaining a positive value A by using the determination method shown in FIG. 8 will be described with reference to the flowchart shown in FIG. まず、撮像素子3の出力から顔の像を検出し、所定のタイミングでスタートする(S251)。 First, to detect an image of the face from the output of the image pickup element 3, it starts at a predetermined timing (S251). 続いて、目部の中心座標66を測定する(S252)。 Then, to measure the center coordinates 66 of the eye portion (S252). この後、所定時間経過するのを待つ(S253)。 Thereafter, wait for a predetermined time elapses (S253). この所定時間は、顔の頷きや横向きの変化を検出するにあたってのサンプリング時間である。 The predetermined time is the sampling time when detecting a nod and lateral changes in the face.

所定時間が経過すると、再び目部の中心座標66を測定する(S254)。 When the predetermined time elapses, measure the center coordinates 66 of the eye portion again (S254). 所定時間を挟んで、2つのタイミングで目部の中心座標66を測定したので、この2つのタイミングの間での目部中心座標のY方向の変化を求め、ΔYとする(S255)。 Across the predetermined time, since the measured center coordinates 66 of the eye portion at the two timings, it obtains the change in the Y direction the eye portion center coordinates between the two timings, and [Delta] Y (S255). 次に、目部中心座標のX方向の変化を求め、ΔXとする(S256)。 Next, determine the X direction of the change in the eye portion center coordinates, and [Delta] X (S256).

次に、ΔYが所定値より小さく、ΔXが所定値より大きいか否かの判定を行なう(S257)。 Next, [Delta] Y is smaller than the predetermined value, it is determined whether ΔX is greater than a predetermined value (S257). 判定の結果、この判定条件を満たしている場合には、顔を横に振っている状態であるので、肯定度Aの値を下げるべく、肯定度Aから1点減点する(S258)。 Result of the determination, if you meet this determination condition is, in the case where waving face next, positive degree to lower the value of A, is deducted one point from positive degree A (S258). 続いて、ΔYが所定値より大きく、ΔXが所定値より小さいか否かの判定を行なう(S259)。 Then, [Delta] Y is greater than the predetermined value, it is determined whether ΔX is smaller than the predetermined value (S259). 判定の結果、この判定条件を満たしている場合には、頷いている状態であるので、肯定度Aの値を上げるべく、肯定度Aに1点加点する(S260)。 Result of the determination, if you meet this determination condition, since it is nodding in which state, in order to increase the value of the positive degree A, 1 point is added points to the positive degree A (S260).

上述の判定が終わると、次に、検出タイミングの終了かを判定する(S260)。 When the above determination is completed, then, it determines the end of the detection timing (S260). すなわち、この肯定度Aの測定は、所定の時間間隔で複数回繰り返し行うので、ステップS260において、この回数に達したかの判定を行なう。 That is, measurement of the affirmation level A, since repeated a plurality of times at predetermined time intervals, in step S260, it is determined whether reached this number. 達していない場合には、ステップS253に戻り、繰り返し行なう。 If not reached, the process returns to step S253, it carried out repeatedly.

笑顔度Rおよび肯定度Aの測定は、図10に示すように、言語を切り換えながら、顔の動きをモニタして行なう。 Measurement of the smile degree R and affirmation level A, as shown in FIG. 10, while switching the language, performed by monitoring the movement of the face. 図10に示す例では、言語Cのときが笑顔度Rおよび肯定度Aの値が最も高いことから、この被写体20の使用言語は言語Cだと判断することができる。 In the example shown in FIG. 10, since when the language C is the highest value of the smile degree R and positive degree A, language of the object 20 can be determined to a language C.

次に、カメラ100の制御について、図11および図12を用いて説明する。 Next, the control of the camera 100 will be described with reference to FIGS. 11 and 12. 撮影に先立って、言語選択モード(電子辞書モード)とカメラモードの切替設定ができるようになっており、設定モードの判定を行なう(S1)。 Prior to imaging, the language selection mode (electronic dictionary mode) and to be able to switch settings of the camera mode, it is determined setting mode (S1). 判定の結果、言語選択モードが設定されていた場合には、ステップS21以下において、図2において説明したようにコミュニケーションをとりながら、言語選択を行なう。 If the result of determination is that the language selection mode has been set, in step S21 following, while taking communication as described in FIG. 2, performing the language selection.

言語選択モードに入ると、まず、被写体20に対して撮影許可を得るか否かの判定を行なう(S21)。 Once in the language selection mode, first, it is determined whether or not obtain shooting permission to subject 20 (S21). この撮影許可は、前述したモデル撮影または一緒撮影(図3参照)の許可である。 The shooting permission is permitted in the above-mentioned model shot or together photographed (see Figure 3). カメラ100のスイッチ類の操作により、撮影許可を得るための設定モードに切り換えるので、このステップでは、撮影許可のための設定となっているか否かの判定を行なう。 By operating the switches of the camera 100, since switching to the setting mode for obtaining a photographic permission, in this step, it is determined whether a setting for shooting permission.

ステップS21における判定の結果、撮影許可を得る場合には、次に表情モニタを開始すし(S22)、多言語による質問を、順次、言語を変えながら再生する(S23)。 The result of determination in step S21, in the case of obtaining the photographing permission, then expression monitoring start sushi (S22), a question multilingual, sequentially reproduce while changing the language (S23). 質問は音声発生部14のスピーカーによる音声再生、または表示パネル8に文字表示によって行なう。 Question is performed by the character displayed in the audio playback or display panel 8, by a speaker of the voice generator 14. また、このときには、図7に示した笑顔度Rを求めるフローを行なう。 Further, at this time, perform a flow for determining the degree of smile R shown in FIG. また、これに代えて、または一緒に図9に示した肯定度Aを求めるフローを行なってもよい。 Instead of this, or it may be performed a flow for obtaining a positive value A shown in FIG. 9 together.

次に、全ての言語について再生が終了したかを判定する(S24)。 Next, it is determined whether the reproduction of all of the languages ​​has been completed (S24). 判定の結果、終了していない場合には、ステップS23に戻り、次の言語で再生を行なう。 If the result of determination is not completed, the process returns to step S23, to reproduce the following languages. 一方、判定の結果、終了の場合には、表情より言語の判定を行なう(S25)。 On the other hand, if the result of determination is of finished, it is determined language from expression (S25). 判定は、図13に示したように、各言語ごとの笑顔度Rや肯定度Aを比較し、最も笑顔度Rや肯定度Aの高い言語を被写体20の使用言語と推定する。 Determination, as shown in FIG. 13, compare the smile degree R or positive degree A of each language, to estimate the most smile degree R or positive degree A language as language of the object 20.

次に、推定した対応言語の確認を行なう(S26)。 Next, the confirmation of the corresponding language, which was estimated (S26). 確認は、音声発生部14から、対応言語で確認の旨を音声表示し、また表示パネル8において対応言語の確認メッセージを表示することにより行なう。 Check, from the sound generating unit 14, the effect of confirming the corresponding language to display audio, also carried out by displaying the confirmation of the corresponding language message in the display panel 8. 続いて、この対応言語の音声表示または視覚表示に対してOKか否かを判定する(S27)。 Subsequently, it is determined whether OK or not the voice display or visual display of the corresponding language (S27). 判定の結果、NGの場合には、ステップS23に戻り、適切な対応言語が見つかるまで、前述のステップを繰り返す。 As a result of the determination, if the NG is returned to step S23, until it finds a suitable Language, the steps described above are repeated.

ステップS27における判定がOKであった場合には、次に、撮影をして良いかの確認、または依頼を行なうが、これは、そのときの被写体20の表情によって対応をかえる。 If the determination in step S27 is OK, the next check of whether or by shooting, or performs the request, which changes the correspondence by expression of the subject 20 at that time. まず、その時の被写体20となる人物の表情が笑顔であるか否かを判定する(S28)。 First, the facial expression of a person being an object 20 at that time determines whether the smiling (S28). 判定の結果、笑顔度Rが高い場合には、ステップS26で確認した対応言語でもって、図3(b)に示したようなモデル撮影の依頼を行なう(S31)。 If it is determined that the smile degree R is high, with the corresponding language identified in step S26, it performs a request for the model photographed as shown in FIG. 3 (b) (S31). 一方、判定の結果、笑顔度Rが低い場合には、対応言語でもって図3(a)に示したような一緒撮影の依頼を行なう(S32)。 On the other hand, if the result of determination is low degree of smile R performs together imaging request, such as shown in FIG. 3 with the corresponding language (a) (S32). なお、ステップS31およびS32における依頼は、音声でも文字表示でも、いずれでもよい。 Incidentally, the request in step S31 and step S32, be either character display by voice, it may be any.

このように笑顔度Rで対応を変えているのは、モデル撮影の場合には被写体一人を撮影することから心理的に拒否され易いのに対して、一緒撮影は、図2に示したようにユーザー21と被写体20は一緒の体勢にあることから受け入れ易いと思われるからである。 Thus're changed corresponding smile degree R in the case of the model shooting whereas likely to be psychologically rejected by to shoot the person subject, together photographing, as shown in FIG. 2 Users 21 and the object 20 is because seems amenable since there together the posture.

ステップS28〜S32におけるような切替だけでなく、表情によって、笑顔なら説明なしだが、厳しい表情なら撮影したい理由を説明するなどの切替を行ってもよい。 Not only the switching, such as in step S28~S32, by facial expression, but without explanation if a smile, may be subjected to switching, such as explaining why you want to if severe facial expression shooting. この理由は、一般的な、「ここに来た記念として」、「あとで送るから」といった一般的なものでもよく、また被写体20の表情を判定して、「誰それに似ているから」とか、空の青さを判定して、「いいお天気だから」のように、画像を考慮して依頼の表示を変更するようにしてもよい。 The reason for this is that the general, "as a memorial came here", Toka may be one general, such as "later because send", also to determine the expression of the subject 20, "because anyone similar to it." , to determine the blue of the sky, such as "because good weather", it is also possible to change the display of the request in view of the image.

ステップS31またはS32における撮影依頼が終わると、次に、関連付けフレーズの候補化を行なう(S45)。 Shooting request is completed at step S31 or S32, then, performs candidate of associated phrase (S45). これは、後日、撮影した画像を検索するときに画像に関連してフレーズが添付されていると、検索し易いことから、このためのフレーズの候補を抽出し、記憶しておく。 This, later, when the phrase in connection with the image when searching for a photographed image is attached, since easily search extracts the candidate phrase for this and stored. このステップが終わると、前述のステップS1に戻る。 When this step is completed, the flow returns to step S1 described above.

ステップS21における判定の結果、撮影許可を得る場合ではないときには、次に、フレーズの選択を行なう(S41)。 The result of determination in step S21, when it is not the case of obtaining a shooting permission, then selects a phrase (S41). このカメラ100はコミュニケーション手段としても使用でき、ユーザー21が被写体20とコミュニケーションを図るに必要なフレーズが予め多言語辞書データベース12に記憶されている。 The camera 100 can also be used as a means of communication, the user 21 is required phrase achieve the object 20 and the communication are stored in advance in the multi-language dictionary database 12. そこで、ユーザー21は、ユーザー21の使用言語でデータベース12の中に記憶されているフレーズを選択する。 Therefore, the user 21 selects a phrase stored in the database 12 with the use language of the user 21.

次に、対応言語情報が有るか否かの判定を行なう(S42)。 Next, it is determined whether the corresponding language information is present (S42). このステップを実行する前にステップS21からステップS27を実行し、被写体(相手方)20の使用言語を特定している場合には、対応言語の情報があり、一方、このような使用言語の判定を行なっていない場合には、対応言語の情報がないことになる。 Perform the step S27 from step S21 before performing this step, if you identify language of the object (the other party) 20 contains information corresponding language, on the other hand, the determination of such a language If you have not done it is made that there is no information of the corresponding language.

ステップS42における判定の結果、対応言語情報が有る場合には、次に、ステップS41で選択されたフレーズについて対応言語に翻訳を行なう(S43)。 As a result of the judgment in the step S42, when the corresponding language information is present, then performs translation to the corresponding language for phrase selected in step S41 (S43). 翻訳結果は音声発生部14のスピーカーから音声で表示してもよいし、また表示パネル8に文字情報として視覚的に表示してもよい。 Translation results may be displayed by voice from the speaker of the voice generating unit 14, or may be visually displayed as character information on the display panel 8. 一方、判定の結果、対応言語情報がない場合には、各国語の一覧表示を行なう(S44)。 On the other hand, if the result of determination is no corresponding language information performs list of national language (S44). すなわち、多言語辞書データベース12に記憶されている言語の一覧表を表示し、対応言語を選択してもらう(S44)。 In other words, to display a list of languages ​​that are stored in the multi-language dictionary database 12, ask them to select the corresponding language (S44). 対応言語が選択されれば、ステップS41において選択されたフレーズについて、音声または視覚で表示を行なう。 If the corresponding language is selected, the selected phrase in step S41, performs a display in audio or visual.

このようにして、ユーザー21と被写体(相手方)20とのコミュニケーションが可能となる。 In this way, it is possible to communicate with the user 21 and the object (the other party) 20. 相手の答が、Yes、Noで答えられるような質問にすれば、ある程度の意思疎通が可能となる。 If the answer to the question of the party is, Yes, if questions, such as those answered with No, it is possible to a certain degree of mutual understanding. ここで、Yes、Noの判定も、画像で行ってもよい。 Here, Yes, determination of No is also may be performed in the image. また、マイクを接続し、音声認識によって翻訳を可能とするようにしてもよい。 Also, connect the microphone may be possible translation by speech recognition.

ステップS43またS44の処理が終わると、次に、前述したように関連付けフレーズの候補化を行なう(S45)。 When the processing of step S43 also S44 is completed, then, performs candidate of a phrase associated as described above (S45). コミュニケーション時のフレーズや言語情報は、撮影した画像を検索するときに有効利用できるので、関連付けフレーズの候補として記録しておく。 Phrases and language information at the time of communication, makes better use when searching the captured image, is recorded as the candidate of the associated phrase. この結果に基づいて、後述するステップS17においてフレーズの関連付けを行なってもよい。 Based on this result may be subjected to associations phrase in step S17 to be described later.

ステップS1における判定の結果、言語選択モードではなかった場合には、撮影モードの選択を行なう(S2)。 If the result of determination in step S1, if was not a language selection mode, selects a photographing mode (S2). 撮影モードの選択では、前述したモデル撮影か、一緒撮影のいずれかを選択する。 The choice of imaging mode, the model capturing described above, selects either together shooting. モデル撮影では、図5の下側にある範囲内の扇形部(モデル撮影範囲56)の画像を利用し、一緒撮影では、上側の扇型部(一緒撮影記録範囲52)を利用する。 In the model shot, using the image of the fan-shaped portion within which the bottom of FIG. 5 (model imaging range 56), the combined imaging, utilizing the upper fan-shaped portion (with photographic recording area 52). 続いて、撮影時の掛け声を音声発生部14から行う(S3)。 Subsequently, a shout at the time of shooting from the voice generating unit 14 (S3). これは、被写体20の使用言語がわかっている場合に行う。 This is done when the language of the object 20 is known. 撮影時の掛け声に応じて、被写体がにっこり笑う等、表情が和むので、このタイミングを利用して撮影を行えばよい。 Depending on the shout at the time of shooting, such as the subject is laugh smile, because facial expression is calm, it may be carried out shooting by using this timing.

次に、撮影か否かの判定を行なう(S4)。 Next, it is determined whether capturing (S4). 撮影動作はレリーズ釦1aの操作に応じて開始される。 Photographing operation is started in response to operation of the release button 1a. 判定の結果、撮影であった場合には、撮影動作を行う(S5)。 If the result of determination is that a shooting, it performs photographing operation (S5). 撮影動作は、撮影レンズ2を透過した被写体光に基づく被写体像を撮像素子3が光電変換し、AFE4によって選択された画像範囲の画像データを、歪み補正等の画像処理を行なう。 Photographing operation, an object image based on the subject light passing through the photographing lens 2 imaging device 3 performs photoelectric conversion, the image data of the image area selected by the AFE 4, performs image processing of distortion correction and the like. 続いて、関連情報を画像に関連付けを行なう(S6)。 Subsequently, to associate the relevant information to the image (S6). 画像記録時に、時計情報や設定したキーワード情報等の関連情報を画像に関連付けを行なう。 At the time of image recording, performing the association relevant information such as the keyword information clock information and settings in the image. また表情等によりステップS45において関連付けの候補を選択し、後述するステップS17で選択したフレーズ等の言語情報の関連付けを行なう。 The Select the association of the candidate at step S45 by facial expressions, to associate language information such phrase selected in step S17 to be described later.

次に、関連付けを行なう情報が言語情報か否かの判定を行なう(S7)。 Then, information for performing association is determined whether or not language information (S7). 判定の結果、言語情報ではない場合には、スキップして次のステップS9に進み、言語情報の場合には、その言語を翻訳する(S8)。 Result of the determination, in the case no language information, skip the process proceeds to the next step S9, if the language information, translate the language (S8). すなわち、被写体20の使用言語でも関連付け情報が添付されるように翻訳を行なう。 That performs translation as information associated in language object 20 is attached. 続いて、画像データの記録を行う(S9)。 Subsequently, the recording of the image data (S9). ここでは、画像処理された画像データを圧縮部6において圧縮処理し、また関連情報も添付した上で、記録メディア9に記録してから、リターンする。 Here, the compression processing in the compression section 6 the image data to image processing. In addition, in the related information is also attached, from the recording medium 9, the process returns.

ステップS4における撮影か否かの判定の結果、撮影ではない場合には、次に再生モードか否かの判定を行なう(S11)。 Shooting whether the determination result in step S4, that is not the shooting, then it is determined whether or not the reproduction mode (S11). 判定の結果、再生モードであった場合には、記録メディア9等に記録されている画像データ等を表示パネル8に表示する。 If the result of determination is that the playback mode displays the image data or the like recorded on a recording medium 9 such as a display panel 8. 続いて、再生画像を、インターネットを介して外部のサーバー34にアップロードするか否かの処理に移る。 Subsequently, moves the reproduced image, of whether the process for uploading to an external server 34 via the Internet. まず、通信を行なうか否かの判定を行なう(S13)。 First, it is determined whether or not the communication (S13). これは、選択した再生画像の外部のサーバー34にアップロードする旨の操作を行なった否かの判定である。 This is a determination of whether or not you make the operation for uploading the external server 34 of the selected reproduced image.

ステップS13の判定の結果、通信を行なう場合には、選択画像をアップロードするサーバー34等の記録領域を指定する(S14)。 Is determined in step S13, when performing communication, it specifies a recording area such as the server 34 to upload the selected image (S14). そして、この指定された記録領域のアドレスに選択画像の送信を行なう(S15)。 Then, the transmission of the selected image to the designated address of the recording area (S15). ステップS13における判定の結果、通信ではない場合には、関連付けを行なうか否かの判定を行なう(S16)。 The result of determination in step S13, that is not the communication, it is determined whether to perform association (S16). 判定の結果、関連付けを行う場合には、選択フレーズ関連付けを行なう(S17)。 If the result of determination is to associate performs selection phrase association (S17). ステップS12において再生表示を行なっており、このステップにおいて再生画像に対して選択フレーズの関連付けを行なう。 Step S12 is performed the display or performs association of the selected phrase on the reproduction image in this step.

この画像関連情報は、撮影が終わった後、キーワードとなるフレーズ一覧を図2のようにユーザー21と被写体20の二人で見ながら、フレーズ23(図4(b))を決定してもよい。 The image-related information after the shooting is over, while watching the phrase list as a keyword in two users 21 and the object 20 as shown in FIG. 2, the phrase 23 may be determined (FIG. 4 (b)) . 翻訳して順次候補を表示することができるので、これ見ながら二人で選ぶ。 It is possible to display the sequential candidate in the translation, this look while choosing two people. 表示パネル8で見るのが見にくい場合には、音声発生部14のスピーカーでこのフレーズやキーワードを翻訳したものを発声させてもよい。 When hard to see to see the display panel 8, it may be speaking what was to translate this phrase or keyword in the speakers of the sound generating unit 14. 順次発音させている時に、被写体の表情をモニタしておき、図7に示した笑顔度Rを測定することにより、「これがよい」という表情を判定し、画像に関連付けられるようにしてもよいし、もちろん、スイッチの操作で選べるようにしてもよい。 When that is sequentially sound in advance to monitor the expression of the subject, by measuring the degree of smile R shown in FIG. 7, to determine the expression of "This is good", it may also be associated with the image , of course, it is also possible to choose in the operation of the switch. ステップS17の選択フレーズの関連付けが終わるとリターンする。 The association of selected phrases of the step S17 is to return and end.

次に、図13に示すフローチャートを用いて、本実施形態におけるカメラ100の画像を記録、管理するサーバー34の動作を説明する。 Next, with reference to the flowchart shown in FIG. 13, the image of the camera 100 in the present embodiment the recording, the operation of the server 34 to manage. 前述したように、カメラ100は、ステップS15において、画像を送信する。 As described above, the camera 100, in step S15, and transmits the image. サーバー34は、まず、画像等のコンテンツをインターネット経由で受信中であるか、すなわちコンテンツの記録を行うか否かの判定を行なう(S101)。 Server 34 first contents such as images or is being received via the Internet, i.e. it is determined whether or not to record the content (S101). 判定の結果、コンテンツの記録を行う場合には、ステップS102において記録を行なう。 Result of the determination, when the recording of the content, performs recording at step S102. この記録時には、画像に添付されているキーワードやフレーズ等の関連情報(記事)の記録も行う。 At the time of this recording, also performs record of relevant information, such as keywords and phrases that are attached to the image (article).

続いて、関連付け情報等に翻訳情報が有るか否かの判定を行なう(S103)。 Subsequently, it is determined whether or not the information such as the translation information associated with it there (S103). これは、撮影者(ユーザー)21の国の言語のみならず、被写体(相手方)20の国の言語もタグとして画像に添付し、後に検索でも利用できるようにするために、翻訳情報の有無を判定している。 This not only national language of the photographer (user) 21, in order to be available in the search as a language also tags countries subject (counterparty) 20 attached to the image, after, the presence or absence of the translation information it is determined. 判定の結果、翻訳情報が存在している場合には、翻訳情報をタグ化する(S104)。 If the result of determination is that the translation information is present, tag the translation information (S104). このように翻訳情報をタグ化しておくことにより、撮影者(ユーザー)21の国の言葉が分からなくとも、被写体(相手方)20は、自身の写真をネット上で検索することが可能となる。 By keeping in this way to tag the translation information, even without knowing the language of the country of the photographer (user) 21, subject (the other party) 20, it is possible to search for photos of themselves on the net.

ステップS101における判定の結果、コンテンツ記録ではない場合には、検索を行なうか否かの判定を行なう(S111)。 As a result of the judgment in the step S101, that is not the content recording, it is determined whether or not the search (S 111). 判定の結果、検索の場合には、検索者が打ち込んだ検索ワードに該当するタグを持つ画像の検索を行い(S112)、検索された画像を表示する(S113)。 If it is determined that the search performs search of images with a tag corresponding to the search word implanted searcher (S112), and displays the retrieved image (S113). 選択画像が表示されると、次に、この画像に関連する関連記事の表示を行なう(S114)。 If the selected image is displayed, then the display of relevant articles related to the image (S114). なお、関連記事は前述したようにステップS101において、コンテンツ記録時に一緒に記録されている。 Incidentally, Related Articles in step S101 as described above, it is recorded together when the content recording. 続いて、この関連記事に対して、翻訳要求があるか否かの判定を行なう(S115)。 Then, with respect to the relevant article, it is determined whether there is a translation request (S115). 翻訳要求がない場合には、そのままリターンする。 If there is no translation request, to return as it is. 一方、翻訳要求があった場合には、翻訳サービスを行なうインターネット32上の翻訳サービスサーバー33と連携して、その記事の翻訳表示を行なう(S116)。 On the other hand, if there is a translation request performs the translation service in cooperation with the translation service server 33 on the Internet 32, performs the translation display of the article (S116).

ステップS111における判定の結果、検索ではない場合には、次に、画像アクセスか否かを判定する(S121)。 Step S111 a result of the judgment in the case is not a search, then determines whether the image access (S121). これは、インターネット32に接続されたパーソナルコンピュータ等がサーバー34にアクセスし、このサーバー34に記録されている画像にアクセスしてきたか否かの判定である。 It accesses the personal computer or the like servers 34 connected to the Internet 32, it is judged whether the accessing to the image recorded on the server 34. 判定の結果、アクセスが有る場合には、そのアドレスに対応する画像の表示を行ない(S113)、次いで、前述のステップS114以下に進み、関連記事の表示等を行い、リターンする。 If the result of determination is that access is present, performs display of the image corresponding to the address (S113), then the process proceeds to the following step S114 described above, performs display of related articles, the process returns.

次に、図14を用いて、本実施形態における魚眼レンズのような広角レンズ等の光学系で構成された撮影レンズ2の変形例を説明する。 Next, with reference to FIG. 14, a modified example of the photographing lens 2 which is composed of an optical system of the wide-angle lens such as a fisheye lens in this embodiment. 本実施形態においては、前述したように魚眼レンズによって形成される映像の全域を利用してはいない。 In the present embodiment, it does not use the entire area of ​​the image formed by the fisheye lens, as described above. そこで、図14(a)、(b)のように、複眼レンズ66やプリズム67を利用して、図5に示した2つの部分、すなわち、一緒撮影記録範囲52、モデル撮影範囲56の2つの範囲をカバーするようにしてもよい。 Therefore, as shown in FIG. 14 (a), (b), by using a compound lens 66 and prism 67, the two shown in FIG. 5 moiety, i.e., along the photographing recording range 52, the two models imaging range 56 range may be covered. また、図14(c)のように凸面反射鏡69を配置するようにしてもよい。 It is also possible to place the convex reflecting mirror 69 as shown in FIG. 14 (c).

以上、述べたように本実施形態に係るカメラおいては、被写体の表情をモニタすることにより、被写体の理解し使用する言語を判定している。 Above, keep the camera according to the present embodiment as described, by monitoring the expression of the subject, and determining the language to be understood by use of the subject. このため、被写体が理解できる言語が分からなくても、使用言語を推定することができ、ユーザーと被写体の間で言語を特定し、コミュニケーションを図ることができる。 Thus, without knowing the language object can understand, it is possible to estimate the language to identify the language between the user and the subject, it is possible to communicate.

また、本実施形態においては、使用言語を特定できると、その言語によるフレーズ等を用いてコミュニケーションを図ることができると共に、そのフレーズ等を画像に関連付けて記録するようにしているので、後から検索する場合に便利である。 The search in the present embodiment, when it identifies a language, it is possible to communicate using a phrase like by the language, since be recorded in association with the phrase like the image, after which is useful if you want to. 特に撮影者の言語と、被写体の言語の両方で記録し、これをサーバー等にアップロードしたときには、双方が簡単に検索し、画像を探すことができる。 In particular, the photographer of the language, was recorded in both the subject of language, this is when it is uploaded to the server, etc., both easily search, image can look for.

さらに、本実施形態においては、被写体の表情に応じて撮影モード(モデル撮影モードと、一緒撮影モード)を変更している。 Further, in this embodiment, by changing the shooting mode according to the facial expression of the subject (model shooting mode and, together photographing mode). 使用言語が異なる場合には、言葉だけでは十分なコミュニケーションを図るのが困難な場合があるが、本実施形態においては、被写体の状態に応じて撮影モードを変更することができる。 If the language is different, there are cases words have difficulty achieving good communication alone, in the present embodiment, it is possible to change the photographing mode according to the state of the subject.

さらに、本実施形態においては、撮影レンズとして魚眼レンズのような広角レンズを使用し、モデル撮影と一緒撮影を同一の状態で撮像し、ただ、撮像素子の出力から、それぞれの映像範囲に応じて画像を切り出している。 Further, in the present embodiment, using a wide-angle lens such as a fisheye as an imaging lens, images the combined imaging model shot in the same state, only by the output of the imaging device, according to the respective image range image is it cut out. このため、カメラはそのままの状態で撮影でき、言語の壁によりカメラアングルを決め難い状態でも、状況に応じた撮影ができる。 Therefore, the camera can shoot as it is, even when the hard decided camera angle by the wall of the language, it is captured in accordance with the situation.

本発明の説明にあたって、カメラに適用した例で説明したが、表情をモニタすることにより、言語を特定する技術はカメラに限らず、例えば電子辞書、電子通訳装置等の種々のガイド装置に適用することができる。 In the description of the present invention has been described in example of application to a camera, by monitoring the expression, techniques for identifying the language is not limited to the camera, to apply for example an electronic dictionary, a variety of guide apparatus such as an electrophotographic interpreting device be able to. また、撮影した画像に関連情報を付加して記録する等の技術は、コンパクトカメラや一眼レフレックスカメラ等の種々のカメラに適用できることは勿論、携帯電話やPDA等の内蔵カメラにも適用することができる。 Further, techniques such as recording by adding additional information to a captured image, can be applied to various cameras such as a compact camera or a single-lens reflex camera, of course, also be applied to a built-in camera, such as a mobile phone or PDA can.

1・・・MPU、1a・・・レリーズスイッチ、1b・・・モード切替スイッチ、1c・・・他のスイッチ、1t・・・時計部、2・・・撮影レンズ、2a・・・AF(オートフォーカス)制御部、2b・・・絞り、2c・・・絞り制御部、3・・・撮像素子、4・・・アナログフロントエンド(AFE)部、5・・・画像処理部、5a・・・形状判定部、5b・・・歪み補正部、5c・・・表情判定部、5d・・・顔検出部、6・・・圧縮部、8・・・表示パネル、8a・・・表示制御部、8b・・・辞書/カメラ表示切替部、8c・・・バックライト(BL)、8d・・・バックライト(BL)制御部、9・・・記録メディア、9a・・・記録部、9c・・・データ送受信部、10・・・本体部、11・・・補助光発光部、12・・・多言 1 ... MPU, 1a ... release switch, 1b ... mode switch, 1c ... other switches, 1t ... clock unit, 2 ... photographing lens, 2a ... AF (Auto focus) control unit, throttle 2b ..., 2c ... throttle control unit, 3 ... imaging element, 4 ... analog front end (AFE) unit, 5 ... image processing unit, 5a ... shape determination unit, 5b ... distortion correcting unit, 5c ... facial expression determination unit, 5d ... face detecting unit, 6 ... compression section, 8 ... display panel, 8a ... display controller, 8b ··· dictionary / camera display switching unit, 8c ··· backlight (BL), 8d ··· backlight (BL) control unit, 9 ... recording media, 9a ··· recording unit, 9c ·· data transmitter-receiver, 10 ... main body, 11 ... auxiliary light emitting section, 12 ... multilingual 辞書データベース、14・・・音声発生部、16・・・矢印(撮影方向)、17・・・矢印(撮影方向)、20・・・被写体(相手方)、21・・・ユーザー(撮影者)、22・・・モニタ範囲、23・・・フレーズ、31・・・他のユーザー、32・・・インターネット、33・・・翻訳サービスサーバー、34・・・サーバー、51・・・映像範囲(魚眼レンズから入る映像範囲)、52・・・撮影記録範囲、53・・・矩形画像(歪み補正済み)、54・・・撮像範囲(撮像素子)、55・・・補助光範囲、56・・・モデル撮影範囲、61・・・線(瞳を結ぶ線)、64・・・矢印(口元)65・・・矢印(眉間)、66・・・目部中心、67・・・複眼レンズ、68・・・プリズム、69・・・凸面反射鏡、100・・・カメラ Dictionary database, 14 ... sound generating unit, 16 ... arrow (imaging direction), 17 ... arrow (imaging direction), 20 ... subject (the other party), 21 ... user (photographer), 22 ... monitor range, 23 ... phrases, 31 ... others, 32 ... Internet, 33 ... translation services server, 34 ... server, from 51 ... image range (fisheye image range) entering, 52 ... imaging recording range 53 ... rectangular image (distortion-corrected), 54 ... imaging range (imaging device), 55 ... auxiliary light range, 56 ... model shooting range (a line connecting the pupils) 61 ... wire, 64 ... arrow (mouth) 65 ... arrow (glabellar), 66 ... first part center, 67 ... compound lens, 68 ... prism, 69 ... convex reflector, 100 ... camera

Claims (9)

  1. 複数のガイド情報を記憶するガイド情報記憶部と、 A guide information storage unit for storing a plurality of guide information,
    上記ガイド情報記憶部から読み出された上記ガイド情報を表示する表示部と、 A display unit for displaying the guide information read out from the guide information storage unit,
    上記ガイド情報を観察する対象人物の表情をモニタする撮像部と、 An imaging unit for monitoring the expression of the target person observing the guide information,
    上記撮像部によってモニタされた対象人物の表情を判定する表情判定部と、 And determining expression determination unit an expression of the monitored target person by the imaging unit,
    上記ガイド情報の表示中に、上記表情判定部によって判定された上記対象人物の表情に応じて上記対象人物に対するメッセージを決定し、上記対象人物に上記メッセージを表示する表示制御部と、 During the display of the guide information, a display control unit according to the facial expression of the target person is determined by the expression determination unit determines the message to the target person, and displays the message to the target person,
    を具備することを特徴とするガイド装置。 Guide apparatus characterized by comprising a.
  2. 上記メッセージは、上記撮像部で得られた画像の色や上記表情判定部によって判定された顔情報の特徴によって決定することを特徴とする請求項1に記載のガイド装置。 The message, the guide device according to claim 1, wherein the determining by the features of the face information determined by the color and the expression determination unit of the image obtained by the imaging unit.
  3. 上記表示制御部は、上記表情判定部による判定結果に応じて、上記メッセージを決定した理由を説明する、 The display control unit according to the determination result by the facial expression determination unit, illustrating the reason for determining the message,
    ことを特徴とする請求項1に記載のガイド装置。 Guide device according to claim 1, characterized in that.
  4. 上記メッセージを表示するに先だって、異なるガイド情報を表示し、上記表情判定部の判定結果に基づいて、上記対象人物の心理を推定する推定部を有し、この推定された結果によってコミュニケーションを図ることを特徴とする請求項1に記載のガイド装置。 Prior to displaying the message, displays a different guide information, based on the determination result of the facial expression determination unit has an estimating section for estimating the psychology of the target person, possible to communicate with the estimated result Guide device according to claim 1, wherein the.
  5. 上記推定部は、異なる言語のガイド情報を表示した際に上記表情判定部による判定結果に基づいて、上記対象人物の使用言語を推定し、 The estimation unit, when displaying guide information in different languages ​​on the basis of a determination result by the facial expression determination unit estimates the language of the target person,
    上記表示制御部は、上記推定部によって推定された使用言語で上記メッセージを表示する、 The display control unit displays the message in language that is estimated by the estimation unit,
    ことを特徴とする請求項4に記載のガイド装置。 Guide device according to claim 4, characterized in that.
  6. さらに、音声を取り込むマイクを有し、 Further comprising a microphone to capture audio,
    上記推定部は、取り込んだ上記音声の調子またはタイミングに基づいて言語を推定する、 The estimation unit estimates a language based on the tone or timing of the sound captured,
    ことを特徴とする請求項4に記載のガイド装置。 Guide device according to claim 4, characterized in that.
  7. 上記表示部は、視覚的または聴覚的に表示を行うことを特徴とする請求項1に記載のガイド装置。 The display unit, guide apparatus according to claim 1, characterized in that a visual or audible display.
  8. 言語ガイド情報に対する対象人物の表情や音声を検出する検出部と、 A detector for detecting the expression and sound of the target person for the language guide information,
    上記言語ガイド情報の表示中に、上記検出結果に応じて上記対象人物に対する言語を推定する言語推定部と、 During the display of the language guide information, and language estimation unit that estimates a language for the target person in response to the detection result,
    上記言語推定部によって推定された使用言語によるコミュニケーション用のフレーズを決定する決定部と、 A determination unit that determines a phrase for communication by using language that is estimated by the language estimator,
    を具備することを特徴とするガイド装置。 Guide apparatus characterized by comprising a.
  9. ガイド情報を表示し、 To display the guide information,
    上記ガイド情報を観察する対象人物の表情をモニタし、 Monitoring the expression of the target person observing the guide information,
    モニタされた上記対象人物の表情を判定し、 Determining the expression of monitored the target person,
    上記ガイド情報の表示中に、上記判定された上記対象人物の表情に応じて上記対象人物に対するメッセージを決定する、 During the display of the guide information to determine a message to said target person in response to the expression of the determination has been the target person,
    ことを特徴とするガイド方法。 Guide wherein the.
JP2011263393A 2011-12-01 2011-12-01 Guide device and the guide METHOD Active JP5096610B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011263393A JP5096610B2 (en) 2011-12-01 2011-12-01 Guide device and the guide METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011263393A JP5096610B2 (en) 2011-12-01 2011-12-01 Guide device and the guide METHOD

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007135262 Division 2007-05-22

Publications (2)

Publication Number Publication Date
JP2012079330A true JP2012079330A (en) 2012-04-19
JP5096610B2 true JP5096610B2 (en) 2012-12-12

Family

ID=46239409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011263393A Active JP5096610B2 (en) 2011-12-01 2011-12-01 Guide device and the guide METHOD

Country Status (1)

Country Link
JP (1) JP5096610B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462178A (en) * 2013-09-11 2017-02-22 谷歌技术控股有限责任公司 Electronic device and method for detecting presence and motion
US9213102B2 (en) 2013-09-11 2015-12-15 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128134A (en) * 1999-11-01 2001-05-11 Atr Media Integration & Communications Res Lab Presentation device
JP3908437B2 (en) * 2000-04-14 2007-04-25 アルパイン株式会社 Navigation system
JP2002304392A (en) * 2001-04-04 2002-10-18 Atr Onsei Gengo Tsushin Kenkyusho:Kk Voice translation system
JP2005266984A (en) * 2004-03-17 2005-09-29 Konica Minolta Holdings Inc Image processing system
JP4722573B2 (en) * 2005-06-10 2011-07-13 株式会社エヌ・ティ・ティ・ドコモ Facial information detection device and the facial information detection-type communication device
JP4632250B2 (en) * 2005-09-15 2011-02-23 Kddi株式会社 Attribute determination entertainment device according to the face

Also Published As

Publication number Publication date Type
JP2012079330A (en) 2012-04-19 application

Similar Documents

Publication Publication Date Title
US20050134719A1 (en) Display device with automatic area of importance display
US20110216209A1 (en) Imaging device for capturing self-portrait images
US7206022B2 (en) Camera system with eye monitoring
US7046924B2 (en) Method and computer program product for determining an area of importance in an image using eye monitoring information
US20080068456A1 (en) Camera
US20080080846A1 (en) Selecting autofocus area in an image
US20120105590A1 (en) Electronic equipment
US20060255986A1 (en) Network camera system and control method therefore
JP2005128156A (en) Focusing device and method
JP2004320287A (en) Digital camera
JP2006254358A (en) Imaging apparatus and method of timer photographing
US20140049666A1 (en) Image processing device, image capturing device including image processing device, image processing method, and program
US20100123816A1 (en) Method and apparatus for generating a thumbnail of a moving picture
US20050200722A1 (en) Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
JP2007150601A (en) Electronic camera
JP2005045600A (en) Image photographing apparatus and program
JP2007074143A (en) Imaging device and imaging system
JP2006025238A (en) Imaging device
JP2007329602A (en) Imaging apparatus, photographing method, and photographing program
JP2005348181A (en) Photography system, its control method and program for control
US20110058787A1 (en) Imaging apparatus
JP2008233470A (en) Diaphragm controller and image processor
JP2009033544A (en) Photographic device and control method of photographic device, and program
JP2001127990A (en) Information communication system
JP2008078951A (en) Imaging apparatus, photography control method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120920

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350