JP4275171B2 - camera - Google Patents
camera Download PDFInfo
- Publication number
- JP4275171B2 JP4275171B2 JP2006336197A JP2006336197A JP4275171B2 JP 4275171 B2 JP4275171 B2 JP 4275171B2 JP 2006336197 A JP2006336197 A JP 2006336197A JP 2006336197 A JP2006336197 A JP 2006336197A JP 4275171 B2 JP4275171 B2 JP 4275171B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- camera
- detection means
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明はデジタルカメラの改良に関し、より詳しくは被写体像の判定に従ってカメラの性能を高め、より失敗のない写真撮影を可能としたカメラに関するものである。 The present invention relates to an improvement of a digital camera, and more particularly to a camera that improves the performance of a camera according to determination of a subject image and enables photography without failure.
ユーザが所望とする顔を画像の中から検出する技術は広く知られている。例えば、下記特許文献1では、顔の大きさを用いて、被写体と機器の距離を判定して音量レベルを切換えるような提案がなされている。また、顔の位置に対して、ピント合わせや露出を制御するカメラも発売されている。
A technique for detecting a face desired by a user from an image is widely known. For example, in the following
更に、人物の姿勢を検出しようとした技術も知られている(例えば、特許文献2参照)。
ところで、上述したように、顔の位置に対してピント合わせや露出を制御するカメラも発売されているが、上記特許文献1に記載の技術は、顔によって撮影シーンを分析して、その結果、最適なカメラ制御を行うような提案ではなかった。
By the way, as described above, a camera that controls focusing and exposure with respect to the position of the face is also on sale, but the technique described in
また、上記特許文献2に記載の技術は、カメラの撮影に関する技術でもなく、更に装置の構成も大がかりなものであった。
In addition, the technique described in
したがって、本発明は上記課題に鑑みてなされたものであり、その目的は、被写体より顔を判定して、シャッタチャンスを逃すことなく最適なシーンや構図で撮影を快適に行い、人物撮影のグッドショットを得る技術を提供することである。 Therefore, the present invention has been made in view of the above problems, and its purpose is to determine a face from a subject, perform shooting comfortably in an optimal scene and composition without missing a photo opportunity, It is to provide a technique for obtaining shots.
すなわち請求項1に記載の発明は、撮像手段からの像信号から、像信号に含まれる顔の部分を検出する顔部検出手段と、上記顔部の上記画面内の位置と、上記顔部近傍から画面外側に向って繋がる輪郭線が所定の形状になった時に撮影画像のベスト画像と判定する判定手段と、を具備することを特徴とする。
That is, the invention described in
請求項2に記載の発明は、撮影画面内の像をモニタする撮像手段からの像信号から、像信号に含まれる顔の部分を検出する顔部検出手段と、上記顔部近傍を中心に繋がる輪郭線の時間変化が所定の変化パターンとして検出された時に、撮影画像のベスト画像と判定する判定手段と、を具備することを特徴とする。 According to the second aspect of the present invention, the face detection means for detecting the face portion included in the image signal from the image signal from the image pickup means for monitoring the image in the shooting screen is connected to the vicinity of the face portion. And determining means for determining the best image of the photographed image when a change in the contour line over time is detected as a predetermined change pattern.
請求項3に記載の発明は、請求項1に記載の発明に於いて、上記判定手段は、上記輪郭線の先端が上記顔部より上に来た時に所定形状と判定することを特徴とする。 According to a third aspect of the present invention, in the first aspect of the present invention, the determination means determines that the shape is a predetermined shape when the tip of the contour line comes above the face. .
請求項4に記載の発明は、請求項1に記載の発明に於いて、上記判定手段は、上記輪郭線の延長方向が上記顔部の下方に来た時に所定形状と判定することを特徴とする。 According to a fourth aspect of the present invention, in the first aspect of the present invention, the determining means determines that the shape is a predetermined shape when the extending direction of the contour line is below the face. To do.
請求項5に記載の発明は、請求項1に記載の発明に於いて、上記判定手段は、上記輪郭線の先端が上記顔部より最も遠い距離に来た時に所定形状と判定することを特徴とする。 According to a fifth aspect of the present invention, in the first aspect of the present invention, the determining means determines that the shape of the predetermined shape is a predetermined shape when a tip of the contour line is at a farthest distance from the face. And
請求項6に記載の発明は、請求項1に記載の発明に於いて、上記判定手段は、上記輪郭線の延長部が上記輪郭線とは異なる形状の物体の形状を変化させた時に、所定形状と判定することを特徴とする。 According to a sixth aspect of the present invention, in the first aspect of the present invention, the determination means is configured to perform a predetermined operation when an extension of the contour line changes the shape of an object having a shape different from the contour line. It is characterized by determining the shape.
請求項7に記載の発明は、請求項2に記載の発明に於いて、上記判定手段は、上記輪郭線の移動変化が止まった時に上記撮影画像のベスト画像と判定することを特徴とする。 According to a seventh aspect of the present invention, in the second aspect of the present invention, the determination means determines that the best image of the photographed image is obtained when the movement of the contour line stops.
請求項8に記載の発明は、撮影画像の中に含まれる顔部を検出する顔部検出手段と、上記顔部検出手段から顔の肌の色を検出する肌色検出手段と、上記肌色検出手段の検出結果に従って、上記撮影画像の手の位置を判定する判定手段と、を具備することを特徴とする。 According to an eighth aspect of the present invention, there is provided a face detection means for detecting a face included in a photographed image, a skin color detection means for detecting the skin color of the face from the face detection means, and the skin color detection means. And determining means for determining the position of the hand of the photographed image according to the detection result.
請求項9に記載の発明は、請求項8に記載の発明に於いて、上記判定手段は、上記手の位置が上記顔の位置に対し、所定の位置である時にグッドショットと判定することを特徴とする。
The invention according to
請求項10に記載の発明は、請求項8に記載の発明に於いて、上記判定手段は、上記手の位置が、両手を組まれている時にグッドショットと判定することを特徴とする。 According to a tenth aspect of the present invention, in the invention according to the eighth aspect, the determination means determines a good shot when the position of the hand is combined.
請求項11に記載の発明は、撮影画像の中に含まれる顔部の位置と大きさを検出する顔部検出手段と、上記顔部検出手段から、顔の肌の色を検出する肌色検出手段と、上記肌色検出結果に従って、上記撮影画像の足の位置を判定する判定手段と、を具備することを特徴とする。
The invention according to
請求項12に記載の発明は、撮影画像の中に含まれる被写体の顔部の位置と大きさを検出する顔部検出手段と、上記顔部検出手段の出力結果に従って上記被写体が全身像か半身像かを判定する判定手段と、を具備することを特徴とする。 According to a twelfth aspect of the present invention, there is provided face detection means for detecting the position and size of a subject's face included in a photographed image, and whether the subject is a full-body image or half body according to the output result of the face detection means. And determining means for determining whether the image is an image.
請求項13に記載の発明は、撮影画像の中に含まれる被写体の顔部を検出する顔部検出手段と、上記撮影画像の中で、上記顔部検出手段で検出された被写体の少なくとも一部の位置を判定する判定手段と、を具備することを特徴とする。 According to a thirteenth aspect of the present invention, there is provided face detection means for detecting a face portion of a subject included in a photographed image, and at least a part of the subject detected by the face detection means in the photographed image. And determining means for determining the position of.
請求項14に記載の発明は、複数の画像を連続的に撮影する連続撮影機能を有するカメラに於いて、被写体の像を撮影する撮像手段と、上記撮像手段で撮影された画像の中に含まれる上記被写体の顔の部分を検出する顔部検出手段と、上記顔部の画面内の位置と、上記顔部近傍から画面外側に向って繋がる輪郭線が所定の形状になった場合に、連続的に撮影された撮影画像のベスト画像と判定する判定手段と、を具備することを特徴とする。 According to a fourteenth aspect of the present invention, in a camera having a continuous shooting function for continuously shooting a plurality of images, the imaging means for shooting an image of a subject and the image captured by the imaging means are included The face detection means for detecting the face portion of the subject, the position of the face in the screen, and the contour line connecting from the vicinity of the face toward the outside of the screen has a predetermined shape And determining means for determining the best image of the photographed image.
請求項15に記載の発明は、複数の画像を連続的に撮影する連続撮影機能を有するカメラに於いて、被写体の像を撮影する撮像手段と、上記撮像手段で撮影された画像の中に含まれる上記被写体の顔の部分を検出する顔部検出手段と、上記顔部近傍を中心に繋がる輪郭線の時間変化が所定の変化パターンとして検出された場合に、連続的に撮影された撮影画像のベスト画像と判定する判定手段と、を具備することを特徴とする。 According to a fifteenth aspect of the present invention, in a camera having a continuous photographing function for continuously photographing a plurality of images, the imaging means for photographing an image of a subject and the image photographed by the imaging means are included. A face detection means for detecting a face portion of the subject and a time change of a contour line connecting the vicinity of the face as a center is detected as a predetermined change pattern. Determination means for determining the best image.
請求項16に記載の発明は、請求項14に記載の発明に於いて、上記判定手段は、上記連続的に撮影された撮影画像のうち上記輪郭線の先端が上記顔部より上に到達した時に所定形状と判定することを特徴とする。 According to a sixteenth aspect of the present invention, in the invention according to the fourteenth aspect, the determination means has the tip of the contour line reaches the upper part of the face portion in the continuously photographed images. It is characterized in that a predetermined shape is sometimes determined.
請求項17に記載の発明は、請求項14に記載の発明に於いて、上記判定手段は、上記連続的に撮影された撮影画像のうち上記輪郭線の延長方向が上記顔部の下方に到達した時に所定形状と判定することを特徴とする。 According to a seventeenth aspect of the present invention, in the invention according to the fourteenth aspect, the determining means includes an extension direction of the contour line that reaches a lower part of the face portion in the continuously photographed images. It is characterized in that it is determined as a predetermined shape when it is done.
請求項18に記載の発明は、請求項14に記載の発明に於いて、上記判定手段は、上記連続的に撮影された撮影画像のうち上記輪郭線の先端が上記顔部より最も遠い距離に到達した時に所定形状と判定することを特徴とする。 According to an eighteenth aspect of the present invention, in the invention according to the fourteenth aspect, the determination means sets the tip of the contour line to the farthest distance from the face portion in the continuously photographed images. It is characterized in that it is determined as a predetermined shape when it arrives.
請求項19に記載の発明は、請求項14に記載の発明に於いて、上記判定手段は、上記連続的に撮影された撮影画像のうち上記輪郭線の延長部が上記輪郭線とは異なる形状の物体の形状を変化させた時に、所定形状と判定することを特徴とする。 According to a nineteenth aspect of the present invention, in the invention according to the fourteenth aspect, the determination means has a shape in which an extended portion of the contour line is different from the contour line in the continuously photographed images. When the shape of the object is changed, the predetermined shape is determined.
請求項20に記載の発明は、請求項15に記載の発明に於いて、上記判定手段は、上記連続的に撮影された撮影画像のうち上記輪郭部の移動変化が止まった時に上記撮影画像のベスト画像と判定することを特徴とする。 According to a twentieth aspect of the present invention, in the invention according to the fifteenth aspect, the determination unit is configured to detect the captured image when the movement change of the contour portion of the continuously photographed images stops. The best image is determined.
請求項21に記載の発明は、請求項14に記載の発明に於いて、上記連続的に撮影された撮影画像のベスト画像の中から、適切な画像のみ選択して記録する記録手段を更に具備することを特徴とする。
The invention according to
請求項22に記載の発明は、複数の画像を連続的に撮影する連続撮影機能を有するカメラに於いて、被写体の像を撮影する撮像手段と、上記撮像手段で撮影された撮影画像の中に含まれる顔部を検出する顔部検出手段と、上記顔部検出手段から顔の肌の色を検出する肌色検出手段と、上記肌色検出手段の検出結果に従って、上記撮影画像の手の位置を判定する判定手段と、を具備することを特徴とする。 According to a twenty-second aspect of the present invention, in a camera having a continuous shooting function for continuously shooting a plurality of images, an imaging unit that captures an image of a subject, and a captured image captured by the imaging unit. A face detection unit for detecting a face part included, a skin color detection unit for detecting a skin color of the face from the face detection unit, and a position of the hand of the photographed image according to a detection result of the skin color detection unit Determining means for performing the above-described operation.
請求項23に記載の発明は、請求項22に記載の発明に於いて、上記判定手段は、上記連続的に撮影された撮影画像のうち上記手の位置が上記顔の位置に対して所定の位置となる撮影画像をグッドショットと判定することを特徴とする。 According to a twenty-third aspect of the present invention, in the invention according to the twenty-second aspect, the determination unit is configured such that the position of the hand is predetermined with respect to the position of the face among the continuously captured images. The photographed image at the position is determined as a good shot.
請求項24に記載の発明は、請求項22に記載の発明に於いて、上記判定手段は、上記連続的に撮影された撮影画像のうち上記手の位置が両手を組まれている時の撮影画像をグッドショットと判定することを特徴とする。 According to a twenty-fourth aspect of the present invention, in the invention according to the twenty-second aspect, the determination unit is configured to shoot when the position of the hand is combined with both hands in the continuously photographed images. The image is determined to be a good shot.
請求項25に記載の発明は、複数の画像を連続的に撮影する連続撮影機能を有するカメラに於いて、被写体の像を撮影する撮像手段と、上記撮像手段で撮影された撮影画像の中に含まれる顔部の位置と大きさを検出する顔部検出手段と、上記顔部検出手段から、顔の肌の色を検出する肌色検出手段と、上記肌色検出結果に従って、上記撮影画像の足の位置を判定する判定手段と、を具備することを特徴とする。 According to a twenty-fifth aspect of the present invention, in a camera having a continuous photographing function for continuously photographing a plurality of images, an imaging means for photographing an image of a subject, and a photographed image photographed by the imaging means Face detection means for detecting the position and size of the included face, skin color detection means for detecting the skin color of the face from the face detection means, and according to the skin color detection result, Determining means for determining a position.
請求項26に記載の発明は、複数の画像を連続的に撮影する連続撮影機能を有するカメラに於いて、被写体の像を撮影する撮像手段と、上記撮像手段で撮影された撮影画像の中に含まれる被写体の顔部の位置と大きさを検出する顔部検出手段と、上記顔部検出手段の出力結果に従って上記被写体が全身像か半身像かを判定する判定手段と、を具備することを特徴とする。 According to a twenty-sixth aspect of the present invention, in a camera having a continuous photographing function for continuously photographing a plurality of images, an imaging means for photographing an image of a subject, and a photographed image photographed by the imaging means Face detection means for detecting the position and size of the face of the subject included, and determination means for determining whether the subject is a full-body image or a half-body image according to the output result of the face detection means. Features.
本発明によれば、被写体より顔を判定して、シャッタチャンスを逃すことなく最適なシーンや構図で撮影を快適に行い、人物撮影のグッドショットを得る技術を提供することができる。 According to the present invention, it is possible to provide a technique for determining a face from a subject, performing a comfortable shooting with an optimal scene and composition without missing a photo opportunity, and obtaining a good shot of a person.
以下、図面を参照して本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施形態)
図1は、本発明の第1の実施形態に係るカメラの基本構成を示すブロック図である。このカメラは、メインCPU(以下、MPUと記す)11と、複数のスイッチ11a、11b、11cと、信号処理部12と、顔検出部13と、輪郭検出部14と、フラッシュROM15と、補助光照射部16と、ピント合わせ部18と、ズーム制御部19と、アナログフロントエンド部(AFE)21と、SDRAM22と、メモリ23と、マイクロホン24と、スピーカ26と、表示部27と、プリント信号出力部28と、無線通信部29と、撮像素子31及び撮影レンズ32とを有して構成される。
(First embodiment)
FIG. 1 is a block diagram showing a basic configuration of a camera according to the first embodiment of the present invention. The camera includes a main CPU (hereinafter referred to as MPU) 11, a plurality of
図1に於いて、制御手段や判定手段の機能を有するMPU11はマイクロコントローラ等から構成されるもので、ユーザによる各種の操作をスイッチ11a、11b、11cの状態によって検出する。更に、MPU11は、上記スイッチ11a、11b、11cの検出結果とフラッシュROM15内に記憶されているプログラムに従って、後述する各ブロックをシーケンシャルに制御して、撮影や再生のシーケンスを実行する。尚、スイッチ11a〜11cは、電源のオン、オフを行う電源スイッチ(11a)や、レリーズスイッチ(11b)、後述する撮影と再生やその他のスイッチ(11c)として選択手段としての機能を有しており、ユーザの操作を入力するものである。
In FIG. 1, an MPU 11 having functions of a control unit and a determination unit is constituted by a microcontroller or the like, and detects various operations by a user based on the states of
上記MPU11には、信号圧縮等の機能を有する信号処理部12と、顔検出部13と、輪郭検出部14と、フラッシュROM15と、補助光照射部16と、ピント合わせ部18及びズーム制御部19とが接続されている。上記信号処理部12では、色補正や信号圧縮等の処理が行われる。また、信号処理部12の内部には、露出レベルを変更した後の増感や画像処理時の補正のかけ方を変更したり、圧縮率を変更するための補助ブロック12aを有している。
The
上記顔検出部13は、撮像素子31より得られた像信号を解析して人間の顔の特徴を用いて、被写体の中に人物がいるか、その顔の位置や大きさを判定するために検出するための顔部検出手段である。また、輪郭検出手段である輪郭検出部14は、画像をシャープネス強調して得られる輪郭の形状を判定する機能を有するものである。
The
フラッシュROM15は、本カメラのMPU11が実行する種々のプログラムや、本カメラに関する各種調整値が記憶されているものである。上記補助光照射部16は、被写体34に向って補助光を照射し、露出を補ったり影を捉えたりするためのものである。更に、ピント合わせ部18は、後述する撮影レンズ32を介して撮像素子31の結像面上に、被写体34のピントを合わせるために該撮影レンズ32を制御するためのものである。そして、ズーム制御部19は、撮影レンズ32による画角切り替えを行うための制御部である。
The
上記信号処理部12には、また、アナログフロントエンド部21と、SDRAM22と、メモリ23と、マイクロホン24と、スピーカ26と、表示部27と、プリント信号出力部28と、無線通信部29とが接続されている。また、アナログフロントエンド部21には、撮影時に、撮影レンズ32から入射された被写体34の像を結像する撮影手段である撮像素子31が接続されている。この撮像素子31は、CCDやCMOSセンサ等により構成されるもので、上記被写体の像を光電変換して画像信号にするものである。
The
上記アナログフロントエンド部18では、変換された画像信号の読み出しやA/D変換が行われる。そして、このアナログフロントエンド部18では、入力画像の露出レベルを切り替えたりする制御も行われる。このアナログフロントエンド部18で変換されたデジタル画像信号は、信号処理部12に入力される。そして、信号処理部12にて種々の画像処理が施され画像データを生成する。そして、この画像データは、記録手段である着脱自在のメモリ23に記録される。ここで、メモリ23に記録される画像データは、カメラの設定に応じて適当なデータ量に圧縮されて記録される。この時、種々の演算を行うために、SDRAM22に適宜データが格納される。本発明では、動画も、先ずここに格納される。
The analog
MPUと共に分類表示手段を構成する表示部(表示手段)21は、LCD等から構成される。そして、構図決定は、この表示部21によって撮像素子31からの信号を逐次再生して表示することによって、被写体34の状態を確認して行われる。再生表示は、ユーザのスイッチ11cの操作に従って、メモリ23内の圧縮された画像データが信号処理部12に読み出されて表示データに変換され、表示部27に表示されることによって行われる。同様に、音声の再生は、上記スイッチ11cの操作に従って、メモリ23内の圧縮された音声データが信号処理部12に読み出されて音声データに変換され、スピーカ27より出力される。メモリ23は、内蔵のものや、カードのように着脱できるものの何れでもよい。
The display unit (display unit) 21 that constitutes the classification display unit together with the MPU is configured by an LCD or the like. The composition is determined by confirming the state of the subject 34 by sequentially reproducing and displaying signals from the
撮影された画像等は、プリント信号出力部28や無線通信部29を介して、図示されない外部機器に送信が可能である。
The captured image or the like can be transmitted to an external device (not shown) via the print
このような構成に於いて、ユーザがスイッチ11a〜11cを操作すると、その状態がMPU11によって検出され、フラッシュROM15に記憶されているプログラムに従って、各ブロックがシーケンシャルに制御されて、撮影や再生のシーケンスが実行される。
In such a configuration, when the user operates the switches 11a to 11c, the state is detected by the
撮影時には、撮影レンズ32から入射した被写体34の像が、撮像素子31によって取り込まれて電気信号に変換され、アナログフロントエンド部21を介してデジタル画像データが信号処理部12に入力される。そして、この信号処理部12にて色補正や画像圧縮等の処理が行われると、その結果のデータがメモリ23に記録されて撮影が終了する。
At the time of photographing, an image of the subject 34 incident from the photographing
そして、本発明の技術が適用されたこのような構成のカメラを用いれば、以下に説明するような瞬間の撮影に好適である。すなわち、図2(a)に示されるように、ゴルフにて被写体41がクラブ42で球43をヒットした瞬間、図2(b)に示されるように、陸上競技で被写体45がゴールに入った瞬間、図2(c)に示されるように、サッカーで被写体46がボール47を蹴った瞬間等である。
If the camera having such a configuration to which the technology of the present invention is applied is used, it is suitable for instantaneous photographing as described below. That is, as shown in FIG. 2 (a), at the moment when the subject 41 hits the
このような被写体は、所望のタイミングで被写体を捉えることが非常に困難であるので、プロカメラマンでも多くの撮影結果(写真)から良いものを選択していた。したがって、このようなシーンをアマチュアが捉えるのはより困難であるので、本実施形態では、複数の画像を連続して撮影する連続撮影を行う連写撮影モードを使用して、その中から所望の写真を選択するような方式とした。 Since it is very difficult to capture such a subject at a desired timing, even a professional photographer has selected a good one from many shooting results (photos). Therefore, since it is more difficult for an amateur to capture such a scene, in this embodiment, a continuous shooting mode in which a plurality of images are continuously shot is used, and a desired shooting mode is selected. The method is to select a photo.
しかし、数多くの画像を連写すると、その中から最適なショットを選び出すのに手間がかかり、尚かつカメラ内部のメモリの記録領域をデータが占拠してしまうので、最適なものを自動的に選択し、必要なもののみを選んで残す工夫が必要となる。そのため、本実施形態では、この最適画像選択の方法として、画像を分析し、被写体のポーズを考慮して選択するようにしている。 However, if you take a lot of images, it takes time to select the best shot from them, and the data will occupy the memory recording area inside the camera. However, it is necessary to devise and leave only the necessary items. Therefore, in this embodiment, as the method for selecting the optimum image, the image is analyzed and selected in consideration of the pose of the subject.
図2(a)〜(c)に示されるような画像にて特徴的なのは、被写体である人物の顔が適切な位置に撮影されていることと、手や足の先が所定の位置に存在していたり大きく伸び切っていること、ボールや球を変形若しくは飛ばしていることである。 The images shown in FIGS. 2A to 2C are characteristic in that the face of the person who is the subject is photographed at an appropriate position, and the hands and feet are in predetermined positions. It is that the ball or sphere is deformed or skipped.
つまり、これらの条件を基に画像を絞り込んでいくことによって、数多い画像の中から、最適なシーンを候補として残すようにしている。 In other words, by narrowing down images based on these conditions, an optimal scene is left as a candidate from a large number of images.
図3(a)〜(c)は、図2(a)〜(c)に対応する各シーンの輪郭検出の結果、顔の近傍から放射状に発せられた輪郭と顔の部分を抜き出して表示した図である。図3(a)〜(c)に於いて、矢印は○印の顔部から放射状に出ていることを示し、こうして出た放射輪郭の先端を、○印で示した。すなわち、図3(a)の場合は、顔部41aの真下に位置するボール49に向けて放射輪郭41bが伸びている。また、図3(b)の場合は、両手50a1 、50a2 に向けた放射輪郭45b1 、45b2 が顔部45aより上に位置し、図3(c)の場合は顔部46aの位置からボール51の位置まで足が伸びて(放射輪郭46b)特徴的な構図であることがわかる。このように、被写体の四肢が伸び切ったり、画面の全体を占めるようになると、変化のある見栄えのある画像となり、ユーザが満足しやすい選択となる。
FIGS. 3A to 3C show the contours and face portions radiated from the vicinity of the face as a result of the contour detection of each scene corresponding to FIGS. 2A to 2C. FIG. In FIGS. 3A to 3C, the arrows indicate that the faces are projected radially from the face portions marked with ◯, and the tips of the radiation contours thus produced are marked with ◯ marks. That is, in the case of FIG. 3A, the
また、図4(a)〜(c)に示されるように、1コマ1コマの特徴ではなく、前後の関係するコマとの差異によって、グッドショットの特徴が明瞭になるケースもある。 In addition, as shown in FIGS. 4A to 4C, there are cases where the characteristics of the good shot are clarified due to the difference from the preceding and following frames, not the characteristics of one frame and one frame.
つまり、図4(a)〜(c)に示されるようなレースのシーンに於いて、被写体53はゴールまでは腕を肩より下にして、図4(a)、(b)のような格好で走っている。そして、1位の人がゴールする瞬間は、図4(c)に矢印で示されるように腕を上げる等、不連続な動作をすることが多いので、このショットをグッドショット(ベスト画像)とする。但し、1位以外の人を撮影したい場合もあるので、この場合は、図4(d)に示されるように、自分の撮影したい被写体(人)54を画面中央にしておく。このようにして、図4(d)に示されるようなショットを選択しないように工夫してもよい。 That is, in the race scene as shown in FIGS. 4A to 4C, the subject 53 looks like FIGS. 4A and 4B with the arm below the shoulder until the goal. Running in. At the moment when the first person finishes, there are many discontinuous movements such as raising an arm as shown by an arrow in FIG. 4C, so this shot is regarded as a good shot (best image). To do. However, since there are cases where it is desired to photograph a person other than the first person, in this case, as shown in FIG. 4D, the subject (person) 54 to be photographed is set at the center of the screen. In this way, it may be devised not to select a shot as shown in FIG.
また、図5に示されるように、被写体56がボール57を蹴る瞬間を捉えたい場合は、次のようになる。すなわち、図5(a)、(b)の画面ではボール57は画面内に存在するが、図5(c)に示される画面では画面内にボール57は存在しない。したがって、ボール57画面内からなくなったコマの前のコマ、ここでは図5(b)のコマをグッドショットとみなすようにすればよい。
Further, as shown in FIG. 5, when it is desired to capture the moment when the subject 56 kicks the
このように、前後のコマとの比較によってグッドショットの候補を選択するので、より効果的な迫力あるショットを選択することができる。 In this way, since a good shot candidate is selected by comparison with the preceding and following frames, a more effective and powerful shot can be selected.
また、図6(a)に示されるようなシーンでは、図6(c)に示されるように、顔部46aからの放射状の輪郭が足の先(ボール51)まで一直線で繋がっているわけではない。しかしながら、図6(b)に示されるように、顔部46aから放射状に出ている輪郭の線l1 と、次の線l2 に繋がる角度θが、所定の角度以上で直線に近い場合は、一続きの放射状の輪郭とみなすような工夫を入れるようにする。このようにして、被写体46の足が伸び切った見栄えのあるシーンを選択することができる。
Further, in the scene shown in FIG. 6A, the radial contour from the
尚、図7(a)に示されるように、被写体58の足が高く上がったシーンも迫力があるが、図6(c)に示されるような考え方で、その前のシーンに於いて、予め輪郭l2 を検出しておき、その先端を追尾して頭部より上に位置したシーンをグッドショットの候補にすれば、これも候補化が可能となる。 As shown in FIG. 7 (a), the scene in which the foot of the subject 58 is raised is also powerful, but with the idea shown in FIG. 6 (c), in the previous scene, If the contour l 2 is detected and the tip is tracked and the scene located above the head is made a good shot candidate, this can also be made a candidate.
次に、このような考え方を基に、図8及び図9のフローチャートを参照して本実施形態に於けるカメラの撮影動作について説明する。 Next, based on such a concept, the photographing operation of the camera in the present embodiment will be described with reference to the flowcharts of FIGS.
図8は、スイッチ11cによって撮影モードが選択された場合の処理を示す。本シーケンスが開始されると、先ず、レリーズスイッチ11bの状態が判定される。これは、撮影者が撮影したいタイミングでレリーズスイッチ11bを押したか否かで判定される。その結果、レリーズスイッチ11bが押されると、MPU11にてこれが検出されて、ステップS2以下の撮影ステップに入る。一方、その前に撮影されるシーンは、レリーズスイッチ11bが押されていないので、後述するステップS27に移行する。
FIG. 8 shows processing when the shooting mode is selected by the
図9に於いて、ステップS27では、再生モードであるか否かが、スイッチ11cの状態によって判定される。ここで、再生モードでない場合は、ステップS28に移行して撮像素子31から出力された信号が、リアルタイムで表示部27に表示(再生)される。ユーザは、この表示部27に表示された画像を見ながら、レリーズスイッチ11bの押し込みタイミングを決定する。
In FIG. 9, in step S27, whether or not the playback mode is set is determined based on the state of the
このとき、ステップS29〜S31にて、撮影前ではあるが顔の部分の検出を行うようにすればよい。この顔の部分の検出は、画像データ(撮像素子からの信号)から、被写体の眼や鼻筋や口元の配置を分析して検出する公知の技術、例えばパターンマッチング等の技術を利用して行う。または、補助光照射部16から投射時の反射光パターンを撮像素子31等のセンサで判定するようにして検出してもよい。或いは、これらの方式を併用してもよい。
At this time, in steps S29 to S31, a face portion may be detected before photographing. The detection of the face portion is performed by using a known technique, for example, a technique such as pattern matching, which analyzes and detects the arrangement of the subject's eyes, nose muscles, and mouth from the image data (signal from the image sensor). Or you may detect so that the reflected light pattern at the time of projection from the auxiliary
このように、実際に撮影を行う前に顔の部分を検出することで、レリーズスイッチが押された後の処理を高速化することができる。 As described above, by detecting the face portion before actually shooting, the processing after the release switch is pressed can be speeded up.
ステップS29にて顔部が検出されると、続くステップS30にて、その部分に対応する表示部27上の位置に、顔部の枠(図示せず)が表示されて、ユーザに正しく検出された旨が告知される。更に、ステップS31にて、その座標位置(表示中の顔の位置)がモニタされるようにする。このようにして、撮影時にも即座に顔の位置を判定することができるようにしておく。
When a face is detected in step S29, a face frame (not shown) is displayed at a position on the
このような状態に於いて、ユーザにより撮影開始の操作が行われると、図8のステップS2に移行して、予め顔が検出されているか否かが判定される。ここで、顔が検出されていない場合は、ステップS3に移行して、特に顔部の描写を重んじない画面平均を良好にする平均撮影が行われる。その後、ステップS23に移行する。一方、上記ステップS2に於いて顔の部分が検出されている場合は、ステップS4に移行して、その部分の露出やピントが適正になるような顔部適正撮影が行われる。 In such a state, when the user performs an operation to start shooting, the process proceeds to step S2 in FIG. 8 to determine whether or not a face has been detected in advance. If no face is detected, the process proceeds to step S3, and average shooting is performed to improve the screen average without respecting the depiction of the face. Thereafter, the process proceeds to step S23. On the other hand, if a face portion is detected in step S2, the process proceeds to step S4, and proper face photographing is performed so that the exposure and focus of the portion are appropriate.
次いで、ステップS5及びS6に於いて、各コマ毎に、顔座標を判定した結果が記録されるようにする。そして、ステップS7に於いて、顔の大きさや位置が不適当であるか否かが判定される。その結果不適当である場合は、グッドショットとは考えられないので、後述するステップS23に移行する。これに対して、顔の位置や大きさが適当であるならば、ステップS8に移行して、信号処理部12による画像処理にてシャープネス処理等により画像の輪郭が強調される。
Next, in steps S5 and S6, the result of determining the face coordinates is recorded for each frame. Then, in step S7, it is determined whether or not the face size or position is inappropriate. If the result is inappropriate, it is not considered a good shot, and the process proceeds to step S23 described later. On the other hand, if the position and size of the face are appropriate, the process proceeds to step S8, and the contour of the image is enhanced by sharpness processing or the like in the image processing by the
そして、ステップS9にて、上記ステップS6で記録された顔の座標の近傍から、放射状に伸びる輪郭が検出選択される。次いで、ステップS10及びS11にて、その先端部の座標(図3(a)の球、図3(b)の手50a1 、50a2 、図3(c)のボール51を参照)が判定されて記録される。このようなプロセスによって、被写体の顔や手足の先の座標が記録されていく。これによって、これらの座標位置の変化を追尾することにより判定することができるので、図7(a)に示されるようなシーンも判定可能となる。
In step S9, a radially extending contour is detected and selected from the vicinity of the face coordinates recorded in step S6. Next, in steps S10 and S11, the coordinates of the tip (see the sphere in FIG. 3A, the hands 50a 1 and 50a 2 in FIG. 3B, and the
次に、ステップS12に於いて、放射輪郭として上記ステップS11判定された輪郭部の変化が判定される。ここで、例えば図4(b)から図4(c)のように、輪郭部の変化が大きい場合はステップS14に移行するが、変化が小さい場合はステップS13に移行して変化フラグが“0”にセットされる。ここで、ステップS10での放射輪郭先端座標の位置や、ステップS11での放射輪郭の変化量をフラッシュROM15に予め記録しておき、このデータを基に判定するようにしてもよい。
Next, in step S12, a change in the contour determined in step S11 is determined as a radiation contour. Here, for example, as shown in FIG. 4B to FIG. 4C, when the change of the contour portion is large, the process proceeds to step S14, but when the change is small, the process proceeds to step S13 and the change flag is set to “0”. Set to "". Here, the position of the radial contour tip coordinate in step S10 and the amount of change in the radial contour in step S11 may be recorded in advance in the
輪郭部の変化が大きい場合は、後述するステップS16にて変化フラグが“1”にセットされる。この撮影シーケンスは、後述するステップS23にてユーザによってレリーズOFFを指示する終了操作がされるまで繰返されて連写されるが、この連続判定の中で、変化フラグが“0”→“1”に変化する場合には、ステップS14に於いてこの変化の有無が判定される。そして、変化フラグが変化した場合は、続くステップS15にて、そのときの画像が候補画像とされる。一方、上記ステップS14にてフラグの変化が無い場合は、ステップS15はスキップされる。その後、ステップS16では、変化フラグが“1”にセットされる。 When the change of the contour portion is large, the change flag is set to “1” in step S16 described later. This shooting sequence is repeated until the end operation for instructing release OFF is performed by the user in step S23, which will be described later. In this continuous determination, the change flag is changed from “0” to “1”. If it changes, the presence or absence of this change is determined in step S14. If the change flag changes, the subsequent image is set as a candidate image in step S15. On the other hand, if the flag does not change in step S14, step S15 is skipped. Thereafter, in step S16, the change flag is set to “1”.
更に、被写体のポーズが適切なショットは、ステップS17以降のステップでも判定される。つまり、ステップS17では、例えば、図2(b)や図7(a)に示されるシーンのように、放射輪郭先端座標位置(手や足の先の位置)が、上記ステップS6で記録された顔の位置より上に存在しているか否かが判定される。その結果、放射輪郭先端座標位置が、上記顔の位置より上に存在している場合は、ステップS18に移行してグッドショットの候補画像とされるが、存在しない場合はステップS18がスキップされる。 Furthermore, a shot with an appropriate subject pose is also determined in steps after step S17. That is, in step S17, for example, as in the scene shown in FIGS. 2B and 7A, the radial contour tip coordinate position (the position of the tip of the hand or foot) is recorded in step S6. It is determined whether or not it exists above the face position. As a result, when the radial contour tip coordinate position exists above the face position, the process proceeds to step S18 to be a good shot candidate image, but when it does not exist, step S18 is skipped. .
また、ステップS19では、例えば、図2(a)に示されるシーンのように、上記放射輪郭先端座標位置が、顔の座標の直下に存在している否かが判定される。その結果、放射輪郭先端座標位置が、上記顔の座標の直下に存在している場合は、ステップS20に移行してグッドショットの候補画像とされるが、存在しない場合はステップS20がスキップされる。 In step S19, for example, as in the scene shown in FIG. 2A, it is determined whether or not the radial contour tip coordinate position exists immediately below the face coordinates. As a result, when the radial contour tip coordinate position exists immediately below the face coordinates, the process proceeds to step S20 to be a good shot candidate image, but when it does not exist, step S20 is skipped. .
そして、ステップS21では、放射輪郭の隣接部の形状(図5(a)、(b)に於けるボール57等の形状)が変化したか否かが判定される。その判定の結果、放射輪郭の隣接部の形状が変化している場合は、ステップS22に移行してグッドショットの候補画像とされるが、変化していない場合はステップS22がスキップされる。
In step S21, it is determined whether or not the shape of the adjacent portion of the radial contour (the shape of the
このように、ステップS17〜S22の処理ステップによって、手や足が高い位置になる華やかなシーンや、手が真下に伸ばされ緊迫したシーンや、ボール等を打った瞬間の画像を、グッドショットとして残すことができる。ステップS17、S19、S21の各判定は、例えば、各座標位置、または各領域情報を有するテンプレートデータをフラッシュROM15に予め記録しておき、これと比較して判定する。尚、同様の判定ができる技術を利用してもよい。
In this way, the gorgeous scene where the hands and feet are high, the scene where the hand is stretched down and tightened, the image of the moment when the ball is hit, etc., as a good shot by the processing steps of steps S17 to S22. Can leave. Each determination in steps S17, S19, and S21 is performed by, for example, pre-recording template data having each coordinate position or each region information in the
こうして、被写体のポーズの判定が終了したならば、ステップS23に於いて、撮影の終了操作が行われたか否かが判定される。ここで、まだ終了しない場合は、上記ステップS4に移行して、以降の処理が繰り返される。一方、撮影終了の操作が行われた場合は、ステップS24へ移行する。 Thus, when the determination of the pose of the subject is completed, it is determined in step S23 whether or not an operation for ending the shooting has been performed. Here, if not finished yet, the process proceeds to step S4, and the subsequent processing is repeated. On the other hand, when an operation for ending photography is performed, the process proceeds to step S24.
1コマ毎には判定することができないシーンについては、撮影後に前後のコマを比較して選択するために、ステップS24及びS25の処理ステップが設けられている。 For scenes that cannot be determined for each frame, processing steps of steps S24 and S25 are provided in order to compare and select the previous and subsequent frames after shooting.
すなわち、ステップS24では、放射輪郭の先端の座標と顔の座標を比較して、それらの距離が一番遠く離れたシーンが候補画像とされる。これは、画面一杯に手足が伸ばされたシーンがグッドショット候補とされるもので、動きの激しさを表す写真撮影に適している。そして、ステップS25では、例えば、図5(b)、(c)のように、ボール57が画面から無くなったシーン変化等で、その時の放射輪郭の隣接部(この場合はボール57)の変化の大きさからグッドショット候補が選択される。この手前のシーン(例えば、図5(a)〜(c)に於いては図5(b))が選択されることで、最もインパクトのある瞬間が選択されることになる。尚、上述したステップS3の処理を経た場合は、顔が検出されていないから、このステップS24、S25は実質的には処理を行わない。
That is, in step S24, the coordinates of the tip of the radial contour and the coordinates of the face are compared, and the scene with the farthest distance is set as the candidate image. This is a good shot candidate for a scene in which the limbs are stretched across the screen, and is suitable for photography that shows the intensity of movement. In step S25, for example, as shown in FIGS. 5B and 5C, the change in the adjacent portion of the radial contour (in this case, the ball 57) is caused by a scene change in which the
更に、ステップS26にて、撮影された画像が記録される。 In step S26, the captured image is recorded.
このように、撮影中と撮影後にグッドショット検出を行っておき、ユーザがモードスイッチ(図1の11c等)を切り替えて再生モードにすると、上記ステップS27からステップS32に移行する。 As described above, when good shot detection is performed during and after shooting, and the user switches the mode switch (such as 11c in FIG. 1) to set the playback mode, the process proceeds from step S27 to step S32.
ステップS32では、候補画像の有無が判定される。その結果、候補画像がある場合には、ステップS33に移行して、その画像が優先的に表示される。一方、候補画像が無い場合は、ステップS34に移行して、連写の写真の中から等間隔の時間で区切られた4コマを候補画像として表示される。ここで、候補画像か否かは、各撮影画像毎に属性情報を記録する。或いは、各撮影画像と候補画像の有無をリンクした情報のみを制御用ファイルとして別に記録すればよい。 In step S32, the presence / absence of a candidate image is determined. As a result, if there is a candidate image, the process proceeds to step S33 and the image is preferentially displayed. On the other hand, if there is no candidate image, the process proceeds to step S34, and four frames divided at equal intervals from the continuous shot are displayed as candidate images. Here, whether or not it is a candidate image records attribute information for each captured image. Alternatively, only the information linking each captured image and the presence / absence of a candidate image may be recorded separately as a control file.
次いで、ステップS35では、表示画像以外を消去するか否かが、例えば表示部27に表示されてユーザに告知される。ここで、ユーザによって表示画像以外を消去する操作が行われると、ステップS36に移行して、該操作が実行され、無駄な画像がメモリ23から削除されて、次の撮影に支障をきたさないようにされる。また、上記ステップS35にて、表示画像以外を消去しない場合は、ステップS36はスキップされる。このように、常にメモリ23内に余裕を作ることによって、グッドショットのみを残しながら、メモリ23の容量不足で撮影できなくなるような問題を回避するようにしている。
Next, in step S35, whether or not to erase other than the display image is displayed on, for example, the
更に、ステップS37では、再生表示画像を切り替える操作が行われたか否かが判定される。ここで、ユーザにより再生表示画像を切り替える操作が行われた場合は、ステップS38に移行して、当該再生表示画像に切り替えられる。一方、上記ステップS37にて、再生表示画像の切り替えが行われない場合は、ステップS38がスキップされる。 Further, in step S37, it is determined whether or not an operation for switching the reproduction display image has been performed. Here, when the user performs an operation of switching the reproduction display image, the process proceeds to step S38 and is switched to the reproduction display image. On the other hand, if the reproduction display image is not switched in step S37, step S38 is skipped.
こうして、本シーケンスが終了する。 Thus, this sequence is completed.
このように、第1の実施形態によれば、人物のすばやい動きを適確に捉えることのできるカメラを提供することができる。 Thus, according to the first embodiment, it is possible to provide a camera that can accurately capture a person's quick movement.
つまり、高速で連写撮影を行い、グッドショットとするにふさわしい画像のみを自動的に多数の一連の画像の中から選出し、それを優先的に記録できるようにした。このように単純な構成ながら被写体の動きや形状を分析し、最も記録するに適切なポーズや瞬間を判定して、初心者にもベストの撮影を可能としたカメラを提供することが可能となる。 In other words, continuous shooting was performed at high speed, and only images suitable for good shots were automatically selected from a series of images and recorded preferentially. In this way, it is possible to analyze a subject's movement and shape with a simple configuration, determine a pose and a moment that are most suitable for recording, and provide a camera that enables even beginners to perform the best shooting.
尚、ステップS26で候補画像のみを記録するようにしてもよい。この場合、撮影中に候補画像を選択することができるので、候補画像以外の画像を保存しないようにすることで、より多くのグッドショットを無駄なく高速に撮影することができる。 Note that only candidate images may be recorded in step S26. In this case, since a candidate image can be selected during shooting, more good shots can be shot at high speed without waste by not storing images other than candidate images.
また、この第1の実施形態では、候補画像が得られても、他の条件による候補画像の有無の判断と確定を行ったが、これに限られずに1つの候補画像が確定したら他の条件を実行しないようにしてもよい。この場合、候補画像枚数は制限されるが、処理速度は更に高速にすることができる。 In the first embodiment, even if a candidate image is obtained, the presence / absence of a candidate image is determined and determined based on other conditions. However, the present invention is not limited to this. May not be executed. In this case, the number of candidate images is limited, but the processing speed can be further increased.
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
尚、以下に述べる第2の実施形態に於いて、カメラの基本的な構成については、上述した第1の実施形態と同じであるので、説明の重複を避けるため、同一の部分には同一の参照番号を付して、その図示及び説明を省略し、異なる部分についてのみ説明する。 In the second embodiment described below, the basic configuration of the camera is the same as that of the first embodiment described above. A reference number is attached | subjected, the illustration and description are abbreviate | omitted, and only a different part is demonstrated.
図10は、本発明の第2の実施形態に於けるカメラの撮影動作について説明するためのフローチャートである。 FIG. 10 is a flowchart for explaining the photographing operation of the camera according to the second embodiment of the present invention.
この第2の実施形態は、撮影時(またはそれに先立つ)の顔検出結果に従い、被写体の肌の色を判定するという工夫を基に、顔以外の部分で、尚かつ顔の大きさのほぼ半分程度の大きさの肌色の部分を掌(若しくは手の甲)の部分と判定するものである。肌色の判定は、画像データの色情報から、例えば撮像された画像データよりR(赤色情報)、G(緑色情報)、及びB(青色情報)の比となる、R/G、B/Gの画面内の所定領域に於ける分布を基に判定する。この肌色の判定は、MPU内で実行されるプログラムによって行われる。この意味で、MPUは肌色検出部と称することができる。これによって、図11(a)〜(c)に示されるような、好んで撮影される被写体のポーズを検出した場合に、これをグッドショットの候補とするようにしている。 This second embodiment is based on the idea of determining the skin color of the subject in accordance with the face detection result at the time of photographing (or prior to that), and based on the idea of determining the skin color of the subject, and is almost half of the face size. A skin-colored part of a certain size is determined as a palm (or back of hand) part. The skin color is determined from the color information of the image data, for example, the ratio of R / G, B / G, which is the ratio of R (red information), G (green information), and B (blue information) from the captured image data. The determination is made based on the distribution in a predetermined area in the screen. This skin color determination is performed by a program executed in the MPU. In this sense, the MPU can be referred to as a skin color detection unit. Thus, when a pose of a subject to be photographed as shown in FIGS. 11A to 11C is detected, this is used as a good shot candidate.
本シーケンスが開始されると、先ずステップS41にて、顔検出が行われて画面内の位置と大きさが検出される。次に、ステップS42にて、上記ステップS41で検出された顔の部分の色から肌色判定が行われる。更に、ステップS43では、サブルーチン「全身像判定」が実行される。このサブルーチン「全身像判定」の詳細な動作については、後述する。 When this sequence is started, face detection is first performed in step S41 to detect the position and size in the screen. Next, in step S42, skin color determination is performed from the color of the face portion detected in step S41. Further, in step S43, a subroutine “whole body image determination” is executed. The detailed operation of this subroutine “whole body image determination” will be described later.
次に、ステップS44に於いて、被写体の顔の位置と大きさから、半身の撮影であるか、全身の撮影であるかが判定される。ここで、半身の撮影と判定された場合には、ステップS45に移行して、上記顔の部分で判定された肌色を基に顔の近傍の肌色部が検出される。そして、その検出された肌色部の大きさが、上述したような顔部の大きさと比較してほぼ半分程度の大きさである場合は、ステップS46にて、それが手の大きさに相当するか否かが判定される。 Next, in step S44, it is determined from the position and size of the face of the subject whether the shooting is for half body or whole body. If it is determined that half-body shooting has been performed, the process proceeds to step S45, and a skin color portion in the vicinity of the face is detected based on the skin color determined in the face portion. If the detected skin color portion is approximately half the size of the face portion as described above, it corresponds to the hand size in step S46. It is determined whether or not.
ここで、上記肌色の部分が手の大きさに相当している場合は、ステップS47以降の手の位置の判定処理に移行する。すなわち、ステップS47では、例えば図11(a)に示されるように、検出された手60bの位置が被写体60の顔60aの部分の下に存在するか否かが判定される。ここで、検出された手の位置が顔の部分の下に存在すると判定された場合は、ステップS48に移行して、グッドショットの候補画像とされる。一方、上記ステップS47にて、検出された手の位置が顔の部分の下に存在しないと判定された場合は、ステップS48がスキップされる。
If the skin color portion corresponds to the size of the hand, the process proceeds to the hand position determination process in step S47 and subsequent steps. That is, in step S47, for example, as shown in FIG. 11A, it is determined whether or not the detected position of the
同様に、ステップS49では、例えば図11(b)に示されるように、検出された手60bの位置が被写体60の顔60aの部分の下に存在するか否かが判定される。ここで、検出された手の位置が顔の部分の横に存在すると判定された場合は、ステップS50に移行して、グッドショットの候補画像とされる。一方、上記ステップS49にて、検出された手の位置が顔の部分の横に存在しないと判定された場合は、ステップS50がスキップされる。
Similarly, in step S49, for example, as shown in FIG. 11B, it is determined whether or not the detected position of the
そして、ステップS51に於いては、例えば図11(c)に示されるように、被写体60の手60bの部分が組まれているか否かが判定される。ここで、被写体の手の部分が組まれていると判定された場合には、ステップS52に移行してグッドショットの候補画像とされる。尚、被写体の両手が組まれているか否かは、図12に示されるように、顔部61と同じ色の掌部62が検出され、上述した第1の実施形態と同様に、シャープネス強調処理等により検出された輪郭線が掌の部分から放射状に2本伸びているか否かを検出することによって判定することが可能である。
Then, in step S51, for example, as shown in FIG. 11C, it is determined whether or not the
また、上記ステップS44に於いて、上半身の写真でないと判定された場合は、全身の撮影がなされているとして、ステップS53に移行する。このステップS53では、上記ステップS42で判定された肌色の部分が画面下方に存在するか否かが判定される。すなわち、下方に向けて伸びる輪郭を有する部分を被写体の足とし、その間に肌色以外の色が存在しない場合はステップS54に移行して、図11(d)に示されるような、被写体の両足が交差されているポーズが候補画面とされる。 On the other hand, if it is determined in step S44 that the photograph is not an upper body photograph, it is determined that the whole body has been photographed, and the process proceeds to step S53. In this step S53, it is determined whether or not the skin color portion determined in step S42 exists in the lower part of the screen. That is, when the portion having the contour extending downward is used as the foot of the subject, and there is no color other than the skin color between them, the process proceeds to step S54, and both the feet of the subject as shown in FIG. The intersecting pose is used as a candidate screen.
尚、両手が組まれている判定として、上述した第1の実施形態のように、判定条件となる座標位置や領域を示すテンプレートを、予めフラッシュROM15に記憶しておき、これと比較して判定するようにしてもよい。更に、座標や領域の変化を追尾したデータを併用してシーン判定することももちろん可能である。
Note that as a determination that both hands are assembled, a template indicating a coordinate position and a region as a determination condition is stored in the
こうして、数多く撮影された画像の中から、所定の条件を満たす候補画像のみを抽出することができるようにすれば、グッドショットの画像を簡単に得ることができる。 Thus, if only candidate images satisfying a predetermined condition can be extracted from a large number of captured images, a good shot image can be easily obtained.
更に、図10のフローチャートに於けるステップS43のサブルーチン「全身像判定」は、図13に示されるような考え方で行われる。 Furthermore, the subroutine “whole body image determination” in step S43 in the flowchart of FIG. 10 is performed based on the concept shown in FIG.
つまり、画面内の人物64の顔64aの座標を画面左下基準でxK ,yK として求め、顔の大きさをΔyとして求めると、画面の下から頭の上までの距離は、約yK +Δy/2となる。
That is, when the coordinates of the
このような状態で、顔部と身長との関係を1:6の長さとして、6×Δyを減算すると、足の先の座標はyA として求められる。したがって、このyA が原点のy=0より大きいと全身像と判定することができ、小さいと足の先まで写っていないと判定することができる。個人差や子供か大人かの差はあるが、ここでは、その平均的な値をとって、下記(1)式のような計算方法とした。
yA =yK +(Δy/2)−6Δy …(1)
図14は、このような考え方で、全身像か半身像かを判定する、サブルーチン「全身像判定」の動作を説明するためのフローチャートである。
In such a state, when the relationship between the face and the height is set to 1: 6 and 6 × Δy is subtracted, the coordinates of the tip of the foot are obtained as y A. Therefore, if this y A is larger than y = 0 of the origin, it can be determined as a whole body image, and if it is small, it can be determined that the tip of the foot is not captured. Although there are individual differences and differences between children and adults, here, the average value is taken and the calculation method is as shown in the following equation (1).
y A = y K + (Δy / 2) −6Δy (1)
FIG. 14 is a flowchart for explaining the operation of the subroutine “whole body image determination” for determining whether the whole body image or the half body image based on such a concept.
つまり、本サブルーチンに入ると、先ずステップS61にて、顔の座標xK ,yKが検出され、続いてステップS62にて顔の大きΔyが検出される。これは、個人認証や防犯カメラで用いられる目鼻口の陰影でパターンマッチングするような方法で検出される。 That is, when entering this subroutine, the face coordinates x K and y K are first detected in step S61, and then the face size Δy is detected in step S62. This is detected by a method such as pattern matching with shadows of eyes and nose and mouth used in personal authentication and security cameras.
ステップS63では、上記(1)式に従った計算により、yA (足の位置)が求められる。次いで、ステップS64に於いて、上記ステップS63で得られたyA (足の位置)が画面外か画面内かが判定される。ここで、yA が0以上であれば、ステップS65に移行して全身像としての処理がなされる。一方、上記ステップS64にて、yA が0より小さければ、ステップS66に移行して半身像としての処理がなされる。 In step S63, y A (foot position) is obtained by calculation according to the above equation (1). Next, in step S64, it is determined whether y A (foot position) obtained in step S63 is outside the screen or inside the screen. Here, if y A is equal to or greater than 0, the process proceeds to step S65, and processing as a whole body image is performed. On the other hand, if y A is smaller than 0 in step S64, the process proceeds to step S66 and a half-body image is processed.
また、このような技術を利用すれば、高速に撮影を繰り返して得られた複数の画像から、最もタイミングの良いシーンを捉えた画像のみを残したい場合に有効的に利用することができる。 In addition, if such a technique is used, it can be effectively used when it is desired to leave only an image that captures the scene with the best timing from a plurality of images obtained by repeatedly shooting at high speed.
図15のタイミングチャートに示されるように、撮像(Δt1 )をしてから表示を行ってグッドショットの判定をするまでには、△t2 の時間を要する。このときに撮像された画像の判定結果に基づいてベストなタイミングの撮影を開始する決定をすると、撮影タイミングとして△t2 の時間遅れの影響を受ける。よって、本実施形態では、撮像した画像を一旦全て記録し、この各画像からグッドショット判定を行った結果を画像ファイルに優先フラグとして付与する。 As shown in the timing chart of FIG. 15, it takes a time of Δt 2 from imaging (Δt 1 ) to displaying and determining a good shot. If it is determined to start shooting at the best timing based on the determination result of the image taken at this time, the shooting timing is affected by a time delay of Δt 2 . Therefore, in the present embodiment, all the captured images are once recorded, and the result of performing the good shot determination from each image is added to the image file as a priority flag.
このようして記録された画像と判定に要する時間とのタイムラグの影響がなく、また撮影終了後にグッドショット画像を優先的に表示させることができる。 There is no influence of the time lag between the image recorded in this way and the time required for determination, and a good shot image can be preferentially displayed after shooting.
また、このグッドショット判定された画像を効果的に表示するよう、図16(a)に示されるように、グッドショット判定された画像tn が一番上になるように、各撮像画像(例えば、tn-2 ,tn-1 ,tn+1 〜tn+3 )を重ねて表示部27に表示するように表示制御する。或いは、図16(b)に示されるように、画面中央にグッドショット判定された画像tn を最も大きく表示して、その前後に撮影された画像(例えば、tn-4 〜tn-1 ,tn+1 〜tn+5 )を周囲に小さくサムネイル画像として表示する。このとき、ユーザがグッドショット判定された画像以外の必要性を判断し、不要なら削除指示をする操作を行ってグッドショット以外の画像を全て削除する。
Further, in order to effectively display the image determined by the good shot, as shown in FIG. 16A, each captured image (for example, the image t n determined so that the image t n determined by the good shot is at the top). , T n−2 , t n−1 , t n + 1 to t n + 3 ) are superposed and displayed on the
図17は、上記の処理動作を説明するためのフローチャートである。 FIG. 17 is a flowchart for explaining the above processing operation.
ステップS71にて撮像された画像データは、続くステップS72で画像処理される。その後、記録データの形式に処理された画像データが、ステップS73にてメモリ23に記録される。その後、ステップS74にてライブビュー画像がスルー画表示される。
The image data captured in step S71 is subjected to image processing in the subsequent step S72. Thereafter, the image data processed in the recording data format is recorded in the
次に、ステップS75に於いて、上記ステップS74で記録された画像データからグッドショット判定が行われる。この判定方法は既に述べた方法が用いられる。このステップS75にてグッドショット画像であると判定された場合は、ステップS76に移行して、画像ファイルにグッドショット画像を表すフラグが付帯情報として記録される。一方、上記ステップS75にてグッドショット画像ではないと判定された場合は、ステップS76がスキップされる。 Next, in step S75, a good shot is determined from the image data recorded in step S74. As this determination method, the method described above is used. If it is determined in step S75 that the image is a good shot image, the process proceeds to step S76, and a flag representing the good shot image is recorded as incidental information in the image file. On the other hand, if it is determined in step S75 that the image is not a good shot image, step S76 is skipped.
その後、ステップS77にてレリーズのOFF指示の判定が行われる。ここで、OFF指示がされたと判定された場合は撮像が終了し、ステップS78で表示部27に撮像された画像のうちフラグ付与された画像が優先的に表示される。その後、ステップS79で優先画像の選択が行われる。
Thereafter, a release OFF instruction is determined in step S77. Here, when it is determined that an OFF instruction has been issued, the imaging is terminated, and the flagged image is preferentially displayed among the images captured on the
一方、上記ステップS77で撮影が継続されていると判定された場合は、上記ステップS71に移行して、上述した撮影処理が継続される。 On the other hand, when it is determined in step S77 that shooting is continued, the process proceeds to step S71, and the above-described shooting process is continued.
図18は、上述した図17のステップS79に於けるサブルーチン「優先画像選択」の詳細な処理動作を説明するためのフローチャートである。 FIG. 18 is a flowchart for explaining detailed processing operations of the subroutine “priority image selection” in step S79 of FIG. 17 described above.
すなわち、ステップS81にて、優先画像以外の記録画像を削除するか否かの判定が行われる。この指示は、表示部27に表示された画像または告知を基に、ユーザの操作結果に基づいて判定される。優先画像以外を削除すると判定された場合は、ステップS82に移行して、優先画像以外の全ての撮影記録画像データがメモリ23から削除(消去)される。一方、ステップS81にて優先画像以外も削除されないと判定された場合は、上記ステップS82がスキップされる。この後、本サブルーチンを抜ける。
That is, in step S81, it is determined whether to delete a recorded image other than the priority image. This instruction is determined based on the operation result of the user based on the image or notification displayed on the
また、優先画像選択の他の応用として、図19のフローチャートに示されるように、グッドショット判定された画像が所望のものでない場合に、他の画像からグッドショット画像を手動選択するようにしてもよい。 As another application of priority image selection, as shown in the flowchart of FIG. 19, when a good shot determined image is not desired, a good shot image may be manually selected from other images. Good.
その際、図16(c)に示されるように、表示部27の全画面にグッドショット画像が表示され、この画像のみが記録されたことが確認可能とされる。これにより、より確実にベストなタイミングで撮影ができ、また無駄にメモリを消費することがなくなる。
At that time, as shown in FIG. 16C, a good shot image is displayed on the entire screen of the
図19は、上述した図17のステップS79に於けるサブルーチン「優先画像選択」の他の処理動作を説明するためのフローチャートである。 FIG. 19 is a flowchart for explaining another processing operation of the subroutine “priority image selection” in step S79 of FIG. 17 described above.
ステップS91にて、優先画像以外の記録画像を削除するか否かの判定が行われる。ここで、優先画像以外を削除すると判定された場合は、ステップS92に移行して、優先画像以外の全ての撮影記録画像データがメモリ23から削除(消去)される。一方、ステップS91にて優先画像以外も削除されないと判定された場合は、上記ステップS93に移行して、削除画像が手動選択される。この選択は、図16(b)に示されるように、サムネイル表示された画像(例えば、tn-4 〜tn-1 ,tn+1 〜tn+5 )から削除したい画像が、スイッチ11c等に対応したキー操作によって選択されて確定キーで確定される。
In step S91, it is determined whether to delete a recorded image other than the priority image. Here, if it is determined that the images other than the priority image are to be deleted, the process proceeds to step S92, and all the captured recording image data other than the priority image are deleted (erased) from the
この確定がなされたらば、ステップS94にて、保存画像として選択された画像が表示されるように表示画像が更新される。その後、ステップS95にて、削除画像として選択された画像データがメモリ23から削除される。
If this determination is made, in step S94, the display image is updated so that the image selected as the saved image is displayed. Thereafter, the image data selected as the deleted image is deleted from the
尚、上記保存画像として選択された画像は、撮影順にコマ番号が付されて保存される。また、上述した例で手動選択の場合について説明したが、手動選択された結果を記憶しておき、グッドショット判定結果と手動選択結果とに相関がある場合、例えば撮影時間のずれ量に偏りが見られる場合は、そのずれ量を判断してグッドショット判定にフィードバックして公知の方法によって学習させるようにしてもよい。この場合、よりユーザの嗜好に合ったタイミングの画像が選択されるようにすることができる。 The images selected as the stored images are stored with frame numbers in the order of shooting. In addition, although the case of manual selection has been described in the above-described example, if the result of manual selection is stored and there is a correlation between the good shot determination result and the manual selection result, for example, the deviation in the shooting time is biased If it can be seen, the amount of deviation may be judged and fed back to good shot judgment to be learned by a known method. In this case, it is possible to select an image at a timing more suitable for the user's preference.
また、本実施形態では、画像処理、記録、表示、及びグッドショット判定を時系列で処理する例で説明したが、これに限られずに、例えばMPUを複数有するシステムを用いてグッドショット判定処理と他の処理を並列的に処理するようにしてもかまわない。このようにすると、更に高速な処理を行うことができる。 Further, in the present embodiment, the example in which image processing, recording, display, and good shot determination are processed in time series has been described. However, the present invention is not limited to this, and for example, a good shot determination process using a system having a plurality of MPUs. Other processes may be processed in parallel. In this way, higher speed processing can be performed.
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形実施が可能であるのは勿論である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
更に、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be extracted as an invention.
11…メインCPU(MPU)、11a、11b、11c…スイッチ、12…信号処理部、13…顔検出部、14…輪郭検出部、15…フラッシュROM、16…補助光照射部、18…ピント合わせ部、19…ズーム制御部、21…アナログフロントエンド部(AFE)、22…SDRAM、23…メモリ、24…マイクロホン、26…スピーカ、27…表示部、28…プリント信号出力部、29…無線通信部、31…撮像素子、32…撮影レンズ、34…被写体。
DESCRIPTION OF
Claims (26)
上記顔部の上記画面内の位置と、上記顔部近傍から画面外側に向って繋がる輪郭線が所定の形状になった時に撮影画像のベスト画像と判定する判定手段と、
を具備することを特徴とするカメラ。 Face detection means for detecting a face portion included in the image signal from the image signal from the imaging means;
Determination means for determining the best image of the photographed image when the position of the face in the screen and the contour line connected from the vicinity of the face toward the outside of the screen have a predetermined shape;
A camera comprising:
上記顔部近傍を中心に繋がる輪郭線の時間変化が所定の変化パターンとして検出された時に、撮影画像のベスト画像と判定する判定手段と、
を具備することを特徴とするカメラ。 A face detection means for detecting a face portion included in the image signal from an image signal from an imaging means for monitoring an image in the shooting screen;
Determination means for determining the best image of the photographed image when a time change of the contour line connecting the vicinity of the face center is detected as a predetermined change pattern;
A camera comprising:
上記顔部検出手段から顔の肌の色を検出する肌色検出手段と、
上記肌色検出手段の検出結果に従って、上記撮影画像の手の位置を判定する判定手段と、
を具備することを特徴とするカメラ。 Face detection means for detecting a face included in the captured image;
Skin color detection means for detecting the skin color of the face from the face detection means;
Determining means for determining the position of the hand of the photographed image according to the detection result of the skin color detecting means;
A camera comprising:
上記顔部検出手段から、顔の肌の色を検出する肌色検出手段と、
上記肌色検出結果に従って、上記撮影画像の足の位置を判定する判定手段と、
を具備することを特徴とするカメラ。 Face detection means for detecting the position and size of the face included in the captured image;
From the face detection means, skin color detection means for detecting the skin color of the face;
Determining means for determining the position of the foot of the photographed image according to the skin color detection result;
A camera comprising:
上記顔部検出手段の出力結果に従って上記被写体が全身像か半身像かを判定する判定手段と、
を具備することを特徴とするカメラ。 Face detection means for detecting the position and size of the face of the subject included in the captured image;
Determining means for determining whether the subject is a full-body image or a half-body image according to the output result of the face detection means;
A camera comprising:
上記撮影画像の中で、上記顔部検出手段で検出された被写体の少なくとも一部の位置を判定する判定手段と、
を具備することを特徴とするカメラ。 Face detection means for detecting the face of the subject included in the captured image;
Determination means for determining the position of at least a part of the subject detected by the face detection means in the photographed image;
A camera comprising:
被写体の像を撮影する撮像手段と、
上記撮像手段で撮影された画像の中に含まれる上記被写体の顔の部分を検出する顔部検出手段と、
上記顔部の画面内の位置と、上記顔部近傍から画面外側に向って繋がる輪郭線が所定の形状になった場合に、連続的に撮影された撮影画像のベスト画像と判定する判定手段と、
を具備することを特徴とするカメラ。 In a camera having a continuous shooting function for continuously shooting a plurality of images,
Imaging means for capturing an image of a subject;
Face detection means for detecting a face portion of the subject included in the image taken by the imaging means;
Determining means for determining the best image of the continuously captured images when the position of the face in the screen and the contour line connected from the vicinity of the face toward the outside of the screen have a predetermined shape; ,
A camera comprising:
被写体の像を撮影する撮像手段と、
上記撮像手段で撮影された画像の中に含まれる上記被写体の顔の部分を検出する顔部検出手段と、
上記顔部近傍を中心に繋がる輪郭線の時間変化が所定の変化パターンとして検出された場合に、連続的に撮影された撮影画像のベスト画像と判定する判定手段と、
を具備することを特徴とするカメラ。 In a camera having a continuous shooting function for continuously shooting a plurality of images,
Imaging means for capturing an image of a subject;
Face detection means for detecting a face portion of the subject included in the image taken by the imaging means;
A determination unit that determines the best image of continuously captured images when a change in time of a contour line centering on the vicinity of the face is detected as a predetermined change pattern;
A camera comprising:
被写体の像を撮影する撮像手段と、
上記撮像手段で撮影された撮影画像の中に含まれる顔部を検出する顔部検出手段と、
上記顔部検出手段から顔の肌の色を検出する肌色検出手段と、
上記肌色検出手段の検出結果に従って、上記撮影画像の手の位置を判定する判定手段と、
を具備することを特徴とするカメラ。 In a camera having a continuous shooting function for continuously shooting a plurality of images,
Imaging means for capturing an image of a subject;
Face detection means for detecting a face included in a captured image taken by the imaging means;
Skin color detection means for detecting the skin color of the face from the face detection means;
Determining means for determining the position of the hand of the photographed image according to the detection result of the skin color detecting means;
A camera comprising:
被写体の像を撮影する撮像手段と、
上記撮像手段で撮影された撮影画像の中に含まれる顔部の位置と大きさを検出する顔部検出手段と、
上記顔部検出手段から、顔の肌の色を検出する肌色検出手段と、
上記肌色検出結果に従って、上記撮影画像の足の位置を判定する判定手段と、
を具備することを特徴とするカメラ。 In a camera having a continuous shooting function for continuously shooting a plurality of images,
Imaging means for capturing an image of a subject;
Face detection means for detecting the position and size of the face included in the captured image taken by the imaging means;
From the face detection means, skin color detection means for detecting the skin color of the face;
Determining means for determining the position of the foot of the photographed image according to the skin color detection result;
A camera comprising:
被写体の像を撮影する撮像手段と、
上記撮像手段で撮影された撮影画像の中に含まれる被写体の顔部の位置と大きさを検出する顔部検出手段と、
上記顔部検出手段の出力結果に従って上記被写体が全身像か半身像かを判定する判定手段と、
を具備することを特徴とするカメラ。 In a camera having a continuous shooting function for continuously shooting a plurality of images,
Imaging means for capturing an image of a subject;
Face detection means for detecting the position and size of the face of the subject included in the captured image taken by the imaging means;
Determining means for determining whether the subject is a full-body image or a half-body image according to the output result of the face detection means;
A camera comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006336197A JP4275171B2 (en) | 2006-02-03 | 2006-12-13 | camera |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006027599 | 2006-02-03 | ||
JP2006336197A JP4275171B2 (en) | 2006-02-03 | 2006-12-13 | camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007235924A JP2007235924A (en) | 2007-09-13 |
JP4275171B2 true JP4275171B2 (en) | 2009-06-10 |
Family
ID=38555994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006336197A Expired - Fee Related JP4275171B2 (en) | 2006-02-03 | 2006-12-13 | camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4275171B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5174492B2 (en) * | 2008-03-05 | 2013-04-03 | 公立大学法人首都大学東京 | Image recognition apparatus, image recognition method, image recognition program, gesture motion recognition system, gesture motion recognition method, and gesture motion recognition program |
JP4760947B2 (en) * | 2008-08-05 | 2011-08-31 | カシオ計算機株式会社 | Image processing apparatus and program |
JP5872981B2 (en) | 2012-08-02 | 2016-03-01 | オリンパス株式会社 | Shooting equipment, moving body shooting method, shooting program |
KR101992306B1 (en) * | 2013-01-03 | 2019-06-24 | 삼성전자주식회사 | Method for operating for camera an electronic device thereof |
JP6246301B2 (en) * | 2016-11-24 | 2017-12-13 | オリンパス株式会社 | Photographing equipment and photographing method |
-
2006
- 2006-12-13 JP JP2006336197A patent/JP4275171B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007235924A (en) | 2007-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8786725B2 (en) | Camera | |
KR100924685B1 (en) | Imaging apparatus and control method thereof | |
US8896626B2 (en) | Image capturing apparatus, image processing apparatus, control method thereof and program | |
US9407804B2 (en) | Method, apparatus, and non-transitory medium for generating a synthetic image from a series of captured images | |
JP2010135996A (en) | Imaging apparatus, and apparatus, method and program for lighting processing | |
JP5293206B2 (en) | Image search apparatus, image search method and program | |
JP2006101186A (en) | Camera | |
CN104052908B (en) | Photographic device and display method | |
JP4275171B2 (en) | camera | |
CN105744179A (en) | Image Capture Apparatus Capable of Processing Photographed Images | |
JP5880135B2 (en) | Detection apparatus, detection method, and program | |
JP2007158868A (en) | Image processing apparatus and method thereof | |
JP2010146378A (en) | Color correction apparatus, camera, color correction method and program for color correction | |
JP5690080B2 (en) | Moving image data generation device and moving image data generation method | |
JP2014033265A (en) | Imaging device, imaging method, and program | |
JP6693071B2 (en) | Imaging device, imaging control method, and program | |
JP5533241B2 (en) | Movie playback device, movie playback method and program | |
CN105611119B (en) | Image processing apparatus and image processing method | |
JP2006128793A (en) | Image pickup device and control method thereof | |
JP4849330B2 (en) | Display control apparatus and method, imaging apparatus, information processing apparatus and method, and program | |
JP5623247B2 (en) | Imaging apparatus and control method thereof | |
JP6322964B2 (en) | Imaging apparatus, imaging control method, and program | |
JP2011166391A (en) | Imaging apparatus | |
JP5948960B2 (en) | Camera, image processing apparatus and program | |
JP6724527B2 (en) | Imaging device, imaging control method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090210 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4275171 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |