JP5972947B2 - Method for supporting user photographing, portable electronic device, and computer program - Google Patents
Method for supporting user photographing, portable electronic device, and computer program Download PDFInfo
- Publication number
- JP5972947B2 JP5972947B2 JP2014203706A JP2014203706A JP5972947B2 JP 5972947 B2 JP5972947 B2 JP 5972947B2 JP 2014203706 A JP2014203706 A JP 2014203706A JP 2014203706 A JP2014203706 A JP 2014203706A JP 5972947 B2 JP5972947 B2 JP 5972947B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- shooting
- pixel
- touch screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000004590 computer program Methods 0.000 title claims description 16
- 238000001454 recorded image Methods 0.000 claims description 81
- 238000013441 quality evaluation Methods 0.000 claims description 44
- 238000011156 evaluation Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000001228 spectrum Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000035807 sensation Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Description
本発明は、ディジタル・カメラで良好な画像を撮影するためにユーザを支援する技術に関し、さらには撮影目的に適合する画像を撮影するためにユーザを支援する技術に関する。 The present invention relates to a technique for assisting a user in capturing a good image with a digital camera, and further relates to a technique for assisting the user in capturing an image suitable for a capturing purpose.
スマートフォンやタブレット端末のような携帯式電子機器は、通常カメラ・モジュールを搭載する。カメラ・モジュールで撮影した画像は、携帯式電子機器が実装するタッチスクリーンで表示したり、他の利用デバイスに転送したりする。撮影目的が実装するタッチスクリーンで表示するだけの場合は、記録した画像を撮影直後にタッチスクリーンに表示させてタッチスクリーンにおける画質を確認することができるが、他の利用デバイスにおける画質まではタッチスクリーンに表示させても確認できない場合がある。 Portable electronic devices such as smartphones and tablet terminals usually have a camera module. An image taken by the camera module is displayed on a touch screen mounted on a portable electronic device or transferred to another use device. If the shooting purpose is simply displayed on the touch screen, the recorded image can be displayed on the touch screen immediately after shooting to check the image quality on the touch screen. Even if it is displayed on the screen, it may not be confirmed.
画像はCMOSイメージ・センサまたはCCDイメージ・センサのような撮像素子の実装密度(解像度)に応じた画素サイズと各画素の画素値(輝度値)のデータ集合体である。スマートフォンのような小さいディスプレイに表示することを前提にしたSNSサーバにアップロードする画像は、その解像度に適合する小さい画素サイズで十分である。他方で、プリンターで印刷したり、大型のテレビで表示したりする画像は、適切な画質で印刷または表示するために大きな画素サイズが必要になる。 An image is a data aggregate of a pixel size and a pixel value (luminance value) of each pixel according to the mounting density (resolution) of an image sensor such as a CMOS image sensor or a CCD image sensor. For the image uploaded to the SNS server on the assumption that it is displayed on a small display such as a smartphone, a small pixel size suitable for the resolution is sufficient. On the other hand, an image to be printed by a printer or displayed on a large television needs a large pixel size in order to print or display with an appropriate image quality.
特許文献1は、撮影後に迅速に撮影画像のブレ度合いをユーザに通知して、撮影者に再撮影の機会を与えることができる撮像装置に関する発明を開示する。撮像装置はレリーズスイッチが半押しされた状態のときにAF動作を行って撮像素子の出力からコントラスト値のピーク値を探索し、つぎにレリーズスイッチが全押しされたときに撮影した画像のコントラスト値とピーク値を比較してブレ度合いを算出する。ブレ度合いは、LCDモニターに点数で表示し、さらにブレ度合いが大きいときに拡大表示して確認できるようにしたり合わせてコメントを表示したりしている。 Patent Document 1 discloses an invention relating to an imaging apparatus capable of notifying a user of the degree of blurring of a captured image quickly after shooting and giving a photographer an opportunity to re-shoot. The imaging device performs AF operation when the release switch is half-pressed, searches for the peak value of the contrast value from the output of the image sensor, and then the contrast value of the image taken when the release switch is fully pressed And the peak value are compared to calculate the degree of blur. The blurring degree is displayed as a score on the LCD monitor, and when the blurring degree is large, the blurring degree is enlarged so that it can be confirmed, and a comment is also displayed.
特許文献2は、ブレの発生を通知する画像取込装置に関する発明を開示する。装置のブレが高品質な画像を取り込むために要求される閾値を超えると、ディスプレイにブレが検出されたことおよびブレを低減または排除する方法を表示する。特許文献3は、ユーザが画像補正の必要性を判断することを助けるために、撮影した画像を自動的に採点する画像採点装置に関する発明を開示する。画像採点装置は、撮影した画像の状態が予め設定した条件と比較して採点した結果をディスプレイに表示する。
最初に本明細書で使用する解像度および画素サイズについて説明する。解像度はディジタル・カメラの撮像素子、ディスプレイまたはプリンターなどのような利用デバイスが画像データの画素を表現できる物理的な単位(ドット)の単位長さ当たりの個数(dpi)または所定の面積における全ドット数(ドットサイズ)をいう。これに対して、画素サイズは矩形状の画像の縦横の画素数をいう。画素サイズは全画素数で表すこともできる。 First, the resolution and pixel size used in this specification will be described. The resolution is the number of physical units (dots) per unit length (dpi) that can be used by a device such as an image sensor of a digital camera, a display or a printer to represent the pixels of image data, or all dots in a predetermined area. Number (dot size). On the other hand, the pixel size refers to the number of vertical and horizontal pixels of a rectangular image. The pixel size can also be expressed by the total number of pixels.
撮影した画像の画素サイズは撮像素子の解像度よりも小さくなる。撮影した画像の画素サイズが利用デバイスのドットサイズより大きいときは、画素を圧縮して利用デバイスのドットサイズに合致させて表現するか、利用デバイスのドットサイズの範囲に画像データの一部だけを表現する。ここに利用デバイスにおける表現とは、画像をプリンターで用紙に印刷したりディスプレイに表示したりすることをいう。撮影した画像の画素サイズが利用デバイスのドットサイズより小さいときは、プリンターやディスプレイの全ドット数に相当する表現領域よりも小さい領域に全体の画像を表現するか、補完した画素を挿入して画素サイズを拡大するが画素サイズを拡大すると画質は低下する。 The pixel size of the captured image is smaller than the resolution of the image sensor. If the pixel size of the captured image is larger than the dot size of the device used, compress the pixels to match the dot size of the device used, or display only a part of the image data within the dot size range of the device used Express. Here, the expression in the use device means that an image is printed on a sheet by a printer or displayed on a display. If the pixel size of the captured image is smaller than the dot size of the device used, display the entire image in an area smaller than the display area corresponding to the total number of dots on the printer or display, or insert a complementary pixel The image quality decreases when the size is increased but the pixel size is increased.
ユーザは、スマートフォンで撮影するときに撮像素子の解像度の範囲で記録する画像の画素サイズを設定することができる。画素サイズが大きくなると、データ量が大きくなって保存やネットワークへの送信が不便になるため、ユーザは撮影目的に応じて記録する画像の画素サイズを設定する。スマートフォンは撮像素子が生成する画素サイズから画素を圧縮し、設定された画素サイズの画像を記録する。撮影した画像(記録画像)の画質は、ノイズ、ブレ、またはボケなどの画質特性で評価することができる。記録画像はさまざまな解像度の利用デバイスで利用することができる。 The user can set the pixel size of an image to be recorded within the resolution range of the image sensor when shooting with a smartphone. When the pixel size increases, the amount of data increases, making storage and transmission to the network inconvenient, so the user sets the pixel size of the image to be recorded according to the shooting purpose. The smartphone compresses the pixels based on the pixel size generated by the image sensor and records an image having the set pixel size. The image quality of a captured image (recorded image) can be evaluated by image quality characteristics such as noise, blur, or blur. Recorded images can be used on devices with various resolutions.
ここで、記録画像を評価するための画質特性は、記録画像に固有の特質として備わっているものではなく、撮影目的または利用デバイスによって変わり得ることに着目する。通常、記録画像の画素サイズは利用デバイスの解像度より大きいため、利用デバイスは受け取った記録画像の画素サイズを利用デバイスの解像度に適合するように圧縮している。 Here, attention is paid to the fact that the image quality characteristics for evaluating the recorded image are not provided as characteristics inherent to the recorded image, but may vary depending on the photographing purpose or the device used. Usually, since the pixel size of the recorded image is larger than the resolution of the utilization device, the utilization device compresses the pixel size of the received recording image so as to match the resolution of the utilization device.
画像は圧縮されると、画質の低下原因としてのノイズ、ブレ、またはボケなどの基画像の特異な変化も小さくなるため目立たなくなるが、利用デバイスの解像度が大きいほど、すなわち利用デバイスにおける圧縮率が小さいほど明瞭になる。同じ画質の記録画像でも解像度の小さいスマートフォンのディスプレイに表示する場合は目立たなくても、解像度の大きい大型のディスプレイに表示するときは画質の低下が目立つことになる。 When an image is compressed, it becomes inconspicuous because the unique changes in the base image such as noise, blurring, or blurring that cause image quality degradation also become smaller, but the higher the resolution of the device used, that is, the compression rate in the device used The smaller it is, the clearer it becomes. Even when recorded images of the same image quality are displayed on a smartphone display with a low resolution, the image quality is noticeably deteriorated when displayed on a large display with a high resolution.
シャッター・チャンスが存在する撮影場面でユーザは、撮影した画像が利用デバイスに適合する画質であることを迅速に知り、かつ、必要に応じて簡単に撮影条件を再設定してから適切な画質で撮影できれば都合がよい。現在は、ユーザが撮影前にモニター画像を撮影後に記録画像をスマートフォンのタッチスクリーンに表示して画質を確認することができる。しかし、モニター画像や記録画像の画素サイズが大きくてもスマートフォンはタッチスクリーンに表示できるように画素を圧縮するため、解像度の大きい大型ディスプレイでの表示やプリンターでの印刷に適した画質であることを確認できない。 In shooting scenes where there is a shutter chance, the user quickly knows that the shot image has an image quality suitable for the device being used, and easily resets the shooting conditions as necessary, and then obtains the appropriate image quality. It would be convenient if you could shoot. Currently, the user can check the image quality by displaying the recorded image on the touch screen of the smartphone after shooting the monitor image before shooting. However, since the smartphone compresses the pixels so that it can be displayed on the touch screen even if the pixel size of the monitor image or recorded image is large, the image quality should be suitable for display on a large display with a large resolution or printing with a printer. I can't confirm.
また、最大の画素サイズで記録した記録画像をタッチスクリーンに拡大して表示すれば、画質の確認をすることができるが、解像度の小さいタッチスクリーンには一度に記録画像の一部しか表示することができないため短時間で確認することができない。また、拡大表示をするための操作は面倒で、かつ常に最大の画素サイズで撮影するとデータ量が多くなって保存や利用デバイスへの転送の負担が増大する。特許文献1ないし特許文献3の発明は、撮影直前または撮影直後に画質を評価してユーザに通知し再撮影の機会を与えることができるが、画質の評価に撮影目的を考慮していないため、撮影目的に対して、必要以上に再撮影を求めたり、適切な画質で撮影できなかったり、あるいは記録画像のデータ量が大きくなったりする。 In addition, if the recorded image recorded with the maximum pixel size is enlarged and displayed on the touch screen, the image quality can be confirmed, but only a part of the recorded image is displayed at a time on the touch screen with a small resolution. Cannot be confirmed in a short time. In addition, the operation for enlarging the display is troublesome, and if shooting is always performed with the maximum pixel size, the amount of data increases, and the burden of storage and transfer to a use device increases. The inventions of Patent Documents 1 to 3 can evaluate the image quality immediately before shooting or immediately after shooting to notify the user and give a chance of re-shooting, but do not consider the shooting purpose in the evaluation of the image quality. Depending on the purpose of shooting, re-shooting may be required more than necessary, shooting with an appropriate image quality may not be possible, or the amount of recorded image data may increase.
そこで本発明の目的は、利用デバイスに適合する画質の画像を迅速かつ簡単に撮影できるようにユーザを支援する方法を提供することにある。さらに本発明の目的は、利用デバイスに適合する画質の撮影ができるように簡単に撮影条件を設定する方法を提供することにある。さらに本発明の目的は、撮影した画像の利用デバイスに対する画質適合性をユーザに通知する方法を提供することにある。さらに本発明の目的は、そのような方法を実現する携帯式電子機器およびコンピュータ・プログラムを提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a method for assisting a user so that an image having an image quality suitable for a device to be used can be taken quickly and easily. It is another object of the present invention to provide a method for easily setting shooting conditions so that shooting can be performed with an image quality suitable for a device to be used. It is a further object of the present invention to provide a method for notifying a user of image quality suitability for a device that uses a captured image. It is a further object of the present invention to provide a portable electronic device and a computer program for realizing such a method.
本発明は、撮影目的に適した画像を撮影できるようにユーザを支援する携帯式電子機器に関する。利用デバイスが表現する目的画像に対応する画素サイズをカメラ・モジュールに設定し、設定した画素サイズでカメラ・モジュールが撮影した画像を取得し、取得した画像の画素サイズと目的画像の画素サイズの比を利用して取得した画像の画質を評価する。本発明において画質は、取得した画像の絶対的な特性として評価するのではなく、目的画像との相対的な特性として評価する。 The present invention relates to a portable electronic device that supports a user so that an image suitable for a shooting purpose can be shot. Set the pixel size corresponding to the target image represented by the device to be used in the camera module, acquire the image captured by the camera module with the set pixel size, and the ratio between the pixel size of the acquired image and the pixel size of the target image Evaluate the quality of images acquired using. In the present invention, the image quality is not evaluated as an absolute characteristic of the acquired image, but as a relative characteristic with respect to the target image.
その結果、取得した画像の画質を、利用デバイスに対する適合性として評価できるため、画質適合性を満たす範囲の画素サイズで画像を取得することができる。また、最大の画素サイズで取得した画像の画質を解像度の小さいディスプレイで拡大して評価する必要もなくなる。ここに、目的画像の画素サイズは、利用デバイスの解像度も含む概念である。画質の評価結果に基づいて、取得した画像の利用デバイスに対する適合性をディスプレイに表示することができる。その結果、ユーザは利用デバイスとの関連で取得した画像の記録または再撮影の判断をすることができる。 As a result, since the image quality of the acquired image can be evaluated as suitability for the utilization device, the image can be obtained with a pixel size in a range that satisfies the image quality suitability. In addition, there is no need to evaluate the image quality of an image acquired with the maximum pixel size by enlarging it on a display with a small resolution. Here, the pixel size of the target image is a concept including the resolution of the utilization device. Based on the evaluation result of the image quality, it is possible to display the suitability of the acquired image for the device in use on the display. As a result, the user can determine whether to record or reshoot an image acquired in association with the device used.
ユーザが画質を評価する範囲を設定するための画像をディスプレイに表示することができる。その結果、ユーザが関心のある領域には撮影効果のためにブレやボケを残したり、関心のない領域は画質を評価しないでできるだけ撮影条件を変更しない撮影をしたりすることができる。また、画質を評価しない領域を減らすことで画質評価のためのリソースの負担を軽減することができる。 An image for setting a range in which the user evaluates the image quality can be displayed on the display. As a result, it is possible to leave blur or blur in an area in which the user is interested due to a shooting effect, or in an area in which the user is not interested in shooting without changing the shooting conditions as much as possible without evaluating the image quality. Further, by reducing the areas where the image quality is not evaluated, it is possible to reduce the burden of resources for image quality evaluation.
取得した画像は撮影ボタンを操作する前のモニター画像から取得した静止画像とし、評価した画質が利用デバイスに適していないと判断したときに、ディスプレイに撮影条件を設定する画像を表示することができる。その結果、利用デバイスに適した撮影条件を設定してから撮影できるようになる。撮影条件にはカメラ・モジュールに設定する画素サイズを含むようにしてもよい。大きい画素サイズで撮影すれば、同じ画質でも同じ画素サイズの目的画像に対する影響を小さくできる。 The acquired image is a still image acquired from the monitor image before operating the shooting button, and when it is determined that the evaluated image quality is not suitable for the device used, an image for setting shooting conditions can be displayed on the display . As a result, shooting can be performed after setting shooting conditions suitable for the device to be used. The shooting conditions may include a pixel size set in the camera module. If shooting is performed with a large pixel size, the effect on the target image having the same pixel size can be reduced even with the same image quality.
このときの画質は撮影の瞬間の状態の影響を受けないノイズ感とすることができる。ノイズ感は、取得した画像から小画像を抽出し、小画像を構成する複数の画素の画素値のバラツキを計算し、取得した画像と目的画像の画素サイズの比を計算し、バラツキと画素サイズの比を利用してノイズ強度を計算することで評価することができる。また、小画像を抽出するときに、複数の小画像を抽出し、各小画像について平均画素値と各画素の差分値を計算して複数の小画像の中から差分値が小さい小画像を選択することができる。 The image quality at this time can be a noise feeling that is not affected by the state at the time of shooting. For noise, extract a small image from the acquired image, calculate the variation in the pixel values of multiple pixels that make up the small image, calculate the ratio of the pixel size of the acquired image and the target image, and calculate the variation and pixel size. It can be evaluated by calculating the noise intensity using the ratio. When extracting a small image, a plurality of small images are extracted, and an average pixel value and a difference value of each pixel are calculated for each small image, and a small image having a small difference value is selected from the plurality of small images. can do.
取得した画像が撮影ボタンを操作した後の画像で、評価した画質が目的画像に適していないと判断したときに、ディスプレイに撮影条件を設定する画像を表示することができる。その結果、撮影直後に、目的画像に適した画質を得ることができる撮影条件で再撮影をすることができる。このときの画質は撮影時のカメラ・モジュールの揺れに起因するブレとすることができる。 When it is determined that the acquired image is an image after the shooting button is operated and the evaluated image quality is not suitable for the target image, an image for setting shooting conditions can be displayed on the display. As a result, re-shooting can be performed immediately after shooting under shooting conditions that can obtain image quality suitable for the target image. The image quality at this time can be a blur caused by the shaking of the camera module at the time of shooting.
ブレの程度は、取得した画像からエッジ画素を抽出し、エッジ画素から画素値の勾配が所定値になる画素までのブレ距離を計算し、取得した画像と目的画像の画素サイズの比を計算し、ブレ距離と画素サイズの比を利用してボケ強度を計算することで評価することができる。ブレ距離を計算するための画素の方向はジャイロセンサーの出力に基づいて決定することができる。 The degree of blur is calculated by extracting the edge pixel from the acquired image, calculating the blur distance from the edge pixel to the pixel where the gradient of the pixel value is a predetermined value, and calculating the ratio of the pixel size of the acquired image to the target image. This can be evaluated by calculating the blur intensity using the ratio of the blur distance and the pixel size. The direction of the pixel for calculating the blur distance can be determined based on the output of the gyro sensor.
画質はピント合わせに起因するボケとすることができる。ボケの程度は、取得した画像から小画像を抽出し、小画像の周波数スペクトルを計算し、取得した画像と目的画像の画素サイズの比を計算し、周波数スペクトルと画素サイズの比を利用してボケ強度を計算することで評価することができる。 The image quality can be blurred due to focusing. The degree of blur is obtained by extracting a small image from the acquired image, calculating the frequency spectrum of the small image, calculating the ratio of the pixel size of the acquired image and the target image, and using the ratio of the frequency spectrum and the pixel size. It can be evaluated by calculating the blur intensity.
本発明により、利用デバイスに適合する画質の画像を迅速かつ簡単に撮影できるようにユーザを支援する方法を提供することができた。さらに本発明により、利用デバイスに適合する画質の撮影ができるように簡単に撮影条件を設定する方法を提供することができた。さらに本発明により、撮影した画像の利用デバイスに対する画質適合性をユーザに通知する方法を提供することができた。さらに本発明により、そのような方法を実現する携帯式電子機器およびコンピュータ・プログラムを提供することができた。 According to the present invention, it is possible to provide a method for assisting a user so that an image having an image quality suitable for a use device can be quickly and easily taken. Further, according to the present invention, it is possible to provide a method for easily setting shooting conditions so that shooting with an image quality suitable for a device to be used can be performed. Furthermore, according to the present invention, it is possible to provide a method for notifying a user of suitability of image quality for a device using a captured image. Furthermore, according to the present invention, a portable electronic device and a computer program for realizing such a method can be provided.
図1は、ディジタル式のカメラ・モジュールを搭載する携帯式電子機器の一例としてのスマートフォン10の外形を示す平面図である。ただし、本発明は利用デバイスよりも解像度が小さいディスプレイを備えるタブレット端末や専用のディジタル・カメラなどの携帯式電子機器に適用することができる。スマートフォン10は、タッチスクリーン15、背面側の映像を撮影するカメラ・モジュール11を実装している。スマートフォン10はさらに表面側にも本発明の適用が可能なカメラ・モジュールを搭載してもよい。
FIG. 1 is a plan view showing an outer shape of a
図2は、スマートフォン10のハードウェアの構成を説明するための図である。スマートフォン10は、CPU51、システム・メモリ53、I/Oインターフェース55、SSD57、タッチスクリーン15、無線モジュール59、カメラ・モジュール11およびジャイロセンサー63などの周知のハードウェア要素を含む。本発明は、周知のハードウェアを搭載するスマートフォン10に、特徴的なソフトウェアを実装することで実現できるが、カメラ・モジュール11およびそのファームウェアを、本発明を一層効果的に実現するための撮影条件の調整ができるように構成してもよい。
FIG. 2 is a diagram for explaining a hardware configuration of the
SSD57は、デバイス・ドライバ、オペレーティング・システムおよびアプリケーション・プログラムなどの本発明にかかる撮影支援システム200(図4)の主要な要素を構成するソフトウェアとカメラ・モジュール11が撮影した記録画像を格納する。タッチスクリーン15はタッチパネルとディスプレイで構成され、撮影支援システム200のユーザ・インターフェースとなる画像を表示する。
The
無線モジュール59は、記録画像の画像データを大型ディスプレイ、SNSサーバ、プリンター、またはコンピュータなどの利用デバイスに転送する。カメラ・モジュール11は、CMOSまたはCCDなどの撮像素子およびイメージ・シグナル・プロセッサなどを含んでおり、所定のフレーム・レートでシステムに動画のモニター画像を出力する。ユーザはカメラ・モジュール11が転送するモニター画像の画素サイズを、タッチスクリーン15が表示するインターフェースを通じて、QXGA(2048×1536)、UXGA(1600×1200)、HD(1280×720)、WVGA(800×480)、VGA(640×480)、WQVGA(400×240)、およびQVGA(320×240)などのさまざまな規格値に設定することができる。
The
図3は、カメラ・モジュール11が撮影した画像の流れを解像度および画素サイズとの関連で説明するための図である。カメラ・モジュール11の撮像素子の解像度は一例として800万画素である。カメラ・モジュール11が撮影した記録画像100は、ユーザまたは撮影支援システム200の設定により、最大の画素サイズの記録画像101aから最小の画素サイズの記録画像101eまでさまざまな画素サイズでSSD57に記録される。
FIG. 3 is a diagram for explaining the flow of an image taken by the
タッチスクリーン15は、カメラ・モジュール11が転送するモニター画像および、モニター画像のスナップ・ショット(静止画像)としてユーザが撮影ボタンを操作して撮影した記録画像100を表示する。タッチスクリーン15を構成するディスプレイの解像度は、一例として60万画素である。したがって、タッチスクリーン15に、画素サイズが大きい記録画像100の全体を表示するときは圧縮する必要がある。
The
記録画像100は、スマートフォン10が実装するタッチスクリーン15の他に、スマートフォンなどにダウンロードして表示するためのSNSサーバ81、大人数で画像を共有するための大型ディスプレイ83、さまざまなサイズの用紙に印刷するプリンター85または画像の編集をするコンピュータ87などの利用デバイス80に送られる。利用デバイス80が表示、印刷、または編集対象として表現または具現化する画像を目的画像ということにする。目的画像は利用デバイス80の解像度または利用デバイス80での表現方法または利用方法に応じて画素サイズが決まる。
In addition to the
SNSサーバ81は、スマートフォンやタブレット端末のような解像度の小さいディスプレイがダウンロードすることを前提にするため、スマートフォン10がアップロードする画像はタッチスクリーン15の解像度と同程度の画素サイズでよい。したがって、SNSサーバ83にアップロードする画像の画質は、タッチスクリーン15に表示した画像で確認できる場合が多い。ただし、本発明ではSNSサーバ83にアップロードする画像の画質も撮影支援システム200で評価することができる。
Since the SNS server 81 is based on the premise that a display with a small resolution such as a smartphone or a tablet terminal is downloaded, the image uploaded by the
大型ディスプレイ83は、一例として画面の解像度が200万画素であり、画面の全体に表示するためにはそれに相当する画素サイズの画像データが必要になる。画面の全域に画像を表示することを前提にすれば、目的画像84の画素サイズと大型ディスプレイ83の解像度は一致する。大型ディスプレイ83が画面の一部を使って目的画像84を表示する場合は、目的画像84の画素サイズが大型ディスプレイ83の解像度よりも小さくなる。
As an example, the large display 83 has a screen resolution of 2 million pixels, and in order to display it on the entire screen, image data of a corresponding pixel size is required. If it is assumed that an image is displayed on the entire area of the screen, the pixel size of the
プリンター85の場合は目的画像86の画素サイズが印刷サイズによって異なる。印刷サイズがプリンター85で印刷が可能な最大の用紙サイズのときは目的画像86の画素サイズが、プリンター85の最大のドットサイズとほぼ同じになるが、印刷サイズが小さい目的画像86の画素サイズは圧縮されて、プリンター85のドットサイズよりも小さくなる。一例においてプリンター85は、解像度が3000dpi程度の場合に印刷サイズに応じて美しく印刷するために10万画素から800万画素程度の画素サイズの画像データを必要とする。
In the case of the
他の利用デバイスで利用する画像を編集するコンピュータ87は、他の利用デバイスの解像度または目的画像の画素サイズに応じた比較的大きな画素サイズの画像を必要とするが、他の利用デバイスの目的画像の画素サイズ以上で編集することが望ましい。目的画像の画質を確保するためには、記録画像100の画素サイズを、目的画像の画素サイズと同一かまたはそれ以上にする必要がある。他方で保存および転送が便利なように記録画像100の画素サイズは、目的画像の画素サイズより必要以上に大きくしないことが望ましい。目的画像の画素サイズが大きいほど画質の低下が顕著に現れるため、大型ディスプレイ83、プリンター85、またはコンピュータ87の目的画像の画質をタッチスクリーン15に表示した画像で確認することは難しい。
The computer 87 that edits an image used in another utilization device requires an image having a relatively large pixel size according to the resolution of the other utilization device or the pixel size of the target image. It is desirable to edit with a pixel size larger than. In order to ensure the image quality of the target image, the pixel size of the recorded image 100 needs to be equal to or larger than the pixel size of the target image. On the other hand, it is desirable that the pixel size of the recorded image 100 not be larger than necessary than the pixel size of the target image so that storage and transfer are convenient. As the pixel size of the target image is larger, the deterioration of the image quality becomes more prominent. Therefore, it is difficult to check the image quality of the target image of the large display 83, the
図4は、本実施の形態にかかる撮影支援システム200の構成を説明するための機能ブロック図である。撮影支援システム200は、図2に示したCPU51、システム・メモリ53のようなハードウェア要素と、SSD57が格納するソフトウェアで実現することができる。記録部205はSSD57を含み、画像転送部209は無線モジュール59を含む。
FIG. 4 is a functional block diagram for explaining the configuration of the photographing
モニター画像取得部201は、カメラ・モジュール11から受け取ったモニター画像(動画)を、タッチスクリーン15に転送する。ユーザは静止画像を撮影する場合に、撮影のタイミングを確認するためにモニター画像を利用する。撮影制御部203は、タッチスクリーン11に撮影目的選択アイコン371(図6)、撮影条件設定画像373、375(図7)、および画質の評価結果などの表示を行いかつユーザの撮影操作を処理する。
The monitor
記録部205はタッチスクリーン15に表示された撮影ボタンの操作のタイミングで撮影制御部203が指示したときに、モニター画像取得部201のモニター画像から静止画像を取得して記録画像100として記録する。画質評価部207は、撮影制御部203からの指示で記録部205が記録する記録画像100の画質、およびモニター画像取得部201から受け取ったモニター画像のスナップショットの画質を定量的に評価して撮影制御部203に通知する。
The
画像転送部209は撮影制御部203の指示で記録画像100を利用デバイス80に転送する。撮影制御部203は、記録画像100の画素サイズを利用デバイス80の目的画像の画素サイズに圧縮してから転送してもよい。解像度テーブル211は、利用デバイス80の解像度または目的画像の画素サイズと、それらに関連付けてカメラ・モジュール11に設定する記録画像の画素サイズを登録する。
The
利用デバイス80の解像度や目的画像の画素サイズは、ユーザが通常利用する利用デバイス80について、ユーザがタッチスクリーン15を通じて登録することができる。大型ディスプレイ81の解像度に対して記録画像100の画素サイズが大きすぎると、折り返し歪みが目立つ場合もある。カメラ・モジュール11に設定する画素サイズ(記録画像100の画素サイズ)は、必要以上に大きくしないために、撮影制御部203は利用デバイスが表現する目的画像の画像サイズと同じかまたはそれより1規格だけ大きい値に設定することができる。
The user can register the resolution of the utilization device 80 and the pixel size of the target image through the
撮影制御部203は、利用デバイス80と通信したときに、目的画像の画素サイズを取得して解像度テーブル211に登録することもできる。撮影制御部203は撮影目的選択アイコン371(図6)が指定されたときに、カメラ・モジュール11に設定する画素サイズ(記録画像の画素サイズ)を解像度テーブル211から取得したり、記録画像100および目的画像の全画素数を計算したりする。ユーザは、画質が確保できないときに撮影制御部203が設定した画素サイズを変更することができる。
The
図5は、撮影支援システム200の動作の概要を説明するためのフローチャートである。ブロック301でユーザは、タッチスクリーン15に表示されたアイコンにタッチ操作をして撮影支援システム200を起動する。撮影支援システム200は、カメラ・モジュール11に対して記録画像100の画素サイズ、シャッター速度、およびISO感度を含むノイズリダクション機能などの撮影条件をディフォルト値に設定する。
FIG. 5 is a flowchart for explaining an outline of the operation of the photographing
ブロック303でタッチスクリーン15にモニター画像が表示される。ユーザはモニター画像をみてシャッター・チャンスを伺う。ブロック305で撮影制御部203は、タッチスクリーン15にモニター画像に重ねて、または、モニター画像の周辺に図6に示す撮影目的アイコン371を表示する。撮影目的アイコン371は一例として、SNSサーバ81へのアップロード、大型ディスプレイ83での表示、プリンター85での印刷、およびコンピュータ87での編集を示す4つのアイコンで構成している。ユーザは、撮影目的アイコン371にタップ操作をして今回の撮影目的を選択する。
At
撮影制御部203は、解像度テーブル211を参照して選択された撮影目的に対応する目的画像の画素サイズを、モニター画像取得部201を通じてカメラ・モジュール11に設定する。これまでは、利用デバイス80が、大型ディスプレイ83やプリンター85の場合は、ユーザが記録画像100の画素サイズを最大にするかまたは必要以上に大きくしていた。その場合、利用デバイス80において目的画像として表現されるときに多くの画素情報が捨てられてしまい無駄になっていた。さらに、記録部205には必要以上に大きな画素サイズの画像データを保存していた。
The
本発明では、ユーザがモニター画像の画素サイズを設定する必要がなく、かつ、目的画像の画質を確保するために最小の画素サイズで撮影することができる。カメラ・モジュール11は、モニター画像取得部201が設定した画素サイズのモニター画像を転送する。ブロック306で撮影制御部203は、タッチスクリーン15にモニター画像のスナップショットを取得するための操作ボタンを表示する。この操作ボタンは、記録部205に記録する記録画像100を撮影する撮影ボタンとは異なり、撮影ボタンで撮影する前にモニター画像の画質を評価するための操作を行うためのものである。
In the present invention, it is not necessary for the user to set the pixel size of the monitor image, and shooting can be performed with the minimum pixel size in order to ensure the image quality of the target image. The
撮影制御部203は、モニター画像から取得した1フレームの静止画像を画質評価部207に送る。撮影制御部203は操作ボタンに代えて、モニター画像からスナップショットを定期的に取得して複数のフレームを画質評価部207に送るようにしてもよい。このとき画質評価部207は以下の手順において、複数のフレームの画像から画質を評価することができる。撮影制御部203は、タッチスクリーン15をスワイプして画質を評価する評価領域372をユーザに指定させることもできる。ユーザは評価領域372を、特殊な撮影効果を得るためにブレやボケを残したい領域や、特に鮮明な画像を必要とする領域を選択するために利用することができる。
The
ブロック307で画質評価部207は、受け取った静止画像の画質を評価する。ここでの画質の評価は、撮影前のモニター画像の撮影目的に対する画質適合性の判断に相当する。一例において、画質特性の一部であるノイズ感を評価する。評価方法は後に説明するが、画質評価部207は、撮影制御部203がカメラ・モジュールに設定した画素サイズと目的画像の画素サイズの比率を利用して、静止画像から取得した画像に許容されるノイズ感を数値化する。
In
ブロック309で画質評価部207は、数値化した画質を撮影制御部203に通知する。画質評価部207は画質の評価が終わった時点で静止画像を破棄する。撮影制御部203は画質が許容範囲であればブロック311に移行し、許容範囲から外れていればブロック351に移行する。ブロック351で撮影制御部203は、タッチスクリーン15に画質が撮影目的に適合しないことを表示するとともに、図7(A)に示す撮影条件設定画像373を表示する。
In
撮影条件設定画像373は、ノイズ感に関連する撮影条件を設定するため画像で、ノイズリダクション(NR)機能の設定で構成している。ノイズ感はISO感度を高めるほど強くなるが、周知のノイズリダクション機能を使って画像を処理することで低減することができる。静止画像を取得したときのノイズリダクション機能がOFFのときは、AUTOまたはMANUALに設定することで、ノイズを低減することがでる。ノイズリダクション機能をMANUALにする場合は、ノイズリダクションの処理の程度に応じてISO感度をスライダーバーで設定することができる。
The shooting
このとき撮影条件設定画像373には、ブロック306で静止画像を取得したときのノイズリダクション機能の設定状態と、各ノイズリダクションの程度に対して基準をクリアするための最低のISO感度を表示することができる。最低のISO感度は、静止画像の画素サイズと目的画像の画素サイズの比から計算することができる。すなわち、静止画像のノイズの大きさが同程度であっても、静止画像の画素サイズと目的画像の画素サイズの比が大きいほど、静止画像のノイズは目的画像に変換される過程で縮小されて実質的な問題が生じないことを基礎にして最低のISO感度を計算する。
At this time, the shooting
ユーザは、スライダーバーを調整して、現在のISO感度と計算した最低のISO感度の間に新たなISO感度を設定することができる。ユーザが撮影条件設定画像373にタッチ操作をしてノイズリダクション機能の程度とISO感度を設定すると、撮影制御部203は、設定された撮影条件をモニター画像取得部201に設定してブロック306に戻る。
The user can adjust the slider bar to set a new ISO sensitivity between the current ISO sensitivity and the calculated lowest ISO sensitivity. When the user performs a touch operation on the shooting
ブロック307で撮影制御部203は、画質評価部207に新たにモニター画像から取得した1フレームの静止画像の画像データを送る。必要に応じてブロック351の手順を何回か繰り返して撮影制御部203が画質は良好であると判断するとタッチスクリーン15に撮影ボタンを表示してブロック311に移行する。撮影条件設定画像373には、それまでのモニター画像の画素サイズを変更するためのスライダーバーも表示されている。ユーザは、ノイズリダクション機能で画質を改善できないときはブロック305で撮影制御部203が設定したモニター画像の画素サイズを変更することもできる。
In
ブロック311で、ユーザが撮影ボタンにタッチ操作をすると、撮影制御部203はモニター画像の1フレームを記録画像100として記録部205に記憶する。ブロック313で撮影制御部203は、画質評価部207に指示して記録画像100の画質を評価させる。ここでの画質の評価は、撮影後の記録画像100の撮影目的に対する画質適合性の判断に相当する。一例において、画質特性の一部であるノイズ、ブレ、およびボケを評価する。ブレとボケの評価方法も後に説明するが、画質評価部207は、記録画像100の画素サイズと目的画像の画素サイズの比率を利用して、記録画像に許容されるノイズ、ブレ、ボケの程度を数値化する。
In
ブロック315で画質評価部207は、画質の評価結果を撮影制御部203に通知する。撮影制御部203は、記録画像100の画質が許容範囲であればブロック317に移行し、許容範囲から外れていればブロック353に移行する。ブロック353で撮影制御部203は、タッチスクリーン15に、画質が撮影目的に適合しないことを表示するとともに、撮影条件を設定するための、図7(A)または図7(B)に示す撮影条件設定画像373、375のいずれかを表示する。
In
撮影条件設定画像375は、ブレおよびボケに関連する撮影条件を設定するためのものでシャッター速度、フォーカス距離のAUTO/MANUALの設定方法、および評価領域372(図6)の変更のためのガイダンスで構成している。ブレはシャッター速度が遅いほど目立ってくる。ユーザは記録画像を撮影したときのシャッター速度の設定が、AUTOのときはMANUALに設定してブレの程度を軽減することができる。ユーザは記録画像を撮影したときのフォーカス距離の設定方法をAUTOとMANUALの間で変更してボケの程度を軽減することができる。
The shooting
ユーザは撮影条件設定画像375のスライダーバーにタッチ操作をしてAUTOからMANUALに変更してシャッター速度を設定したり、フォーカス距離の設定をAUTOにしたりMANUALにしたりする。このときスライダーバーには、記録画像100を撮影したときのシャッター速度と、ブレの基準をクリアするために必要な最大のシャッター速度を表示することができる。最大のシャッター速度は、記録画像100の画素サイズと目的画像の画素サイズの比から計算することができる。ユーザは、スライダーバーを調整して、記録画像100を撮影したときのシャッター速度と計算した最大のシャッター速度の間でシャッター速度を設定することができる。
The user touches the slider bar of the shooting
撮影制御部203は、設定された撮影条件をモニター画像取得部201に設定してブロック311に戻る。ブロック311で撮影制御部203は、再度撮影された記録画像100を画質評価部207に送る。このときユーザはMANUALでフォーカス距離を設定したり、評価領域372を変更したりして撮影することでボケの改善を図ることができる。必要に応じてブロック353の手順を何回か繰り返して撮影制御部203が画質は良好であると判断するとブロック317に移行する。
The
撮影条件設定画像375には、前回撮影したときの記録画像の画素サイズと、記録画像の画素サイズを変更するためのスライダーバーも表示されている。ユーザは変更したシャッター速度、フォーカス距離の設定方法、または変更した評価領域372で画質を改善できないときは、前回の撮影時に設定された記録画像100の画素サイズを変更することもできる。ブロック317で撮影制御部203は、修正した撮影条件で撮影するための撮影ボタンをタッチスクリーン15に表示する。
The shooting
[ノイズ感の定量化]
図8は、撮影支援システム200が、撮影前のモニター画像または撮影後の記録画像のノイズ感を定量化して処理する手順を説明するためのフローチャートである。ここでは図9(A)に示す記録画像451を例にして説明するが、撮影前のモニター画像のスナップショットについても同じ方法で処理することができる。ブロック401で画質評価部207は、図9(A)に示すように評価の対象となる記録画像451に対して、複数の評価ウィンドウ453a〜453dを設定する。
[Quantification of noise]
FIG. 8 is a flowchart for explaining a procedure in which the photographing
評価ウィンドウ453a〜453dの画素サイズは、記録画像451の画素サイズに応じて同程度のオブジェクトが含まれるように選択する。したがって、記録画像451の画素サイズが大きいほど評価ウィンドウの画素サイズは大きくなる。記録画像451におけるノイズの発生カ所に局所性がないことを前提にして評価ウィンドウ453a〜453dの位置はランダムに選択する。なお、図5のブロック306で評価領域372が設定されているときは、評価領域372の中に評価ウィンドウ453a〜453dを設定する。
The pixel sizes of the
ブロック403で画質評価部207は、評価ウィンドウ453a〜453dで囲まれた領域の画素から小画像を抽出する。ブロック405で各小画像について、RGBのサブ画素ごとに、画素値の平均値を計算する。サブ画素ごとに計算するのは、色ごとにノイズの量が異なるためである。ブロック407で図9(B)に示すように、各小画像について、画素値の平均値と各サブ画素の画素値の差分値を計算して、横軸を差分値の絶対値とし縦軸をサブ画素数とするヒストグラムを計算する。
In
ブロック409でヒストグラムを計算した複数の小画像の中から、ノイズ感の判定に適した小画像を選択する。このとき小画像の全体に渡って画素値の変化が小さい小画像を選択するとノイズの画素値と本来の画像の画素値を区別し易い。したがって、ライン463のような小画像よりもライン461のような画素値の変化が少ない小画像の方がノイズ感の判定精度を上げることができる。画質評価部207は、たとえば、ヒストグラムから所定の差分値までの積分値を計算して所定の閾値より積分値が大きくて輝度の変化が少ない小画像を複数選択する。所定数の小画像を得られないときは、評価ウィンドウを新たに設定して小画像を取得することができる。
A small image suitable for determination of a noise feeling is selected from the plurality of small images whose histograms are calculated in
ブロック411で画質評価部207は、選択したすべての小画像の標準偏差σを計算しさらに複数の小画像から計算した複数の標準偏差σの平均値σmを計算する。ブロック413で画質評価部207は、解像度テーブル211から取得した画素サイズから目的画像の全画素数Naと記録画像451の全画素数Nb(Na<Nb)を計算する。画質評価部207は、標準偏差の平均値σmと、画素数の比率の平方根SQRT(Na/Nb)を乗算して得た値をノイズ強度Sとする。
In
ノイズ強度Sは、標準偏差の平均値σmが大きいほど、また画素数の比率Na/Nbが大きいほど大きい値になる。標準偏差の平均値σmが大きいことは、輝度の変化が小さい小画像において画素値のバラツキが多いことに相当するため記録画像451のノイズ感の強さを示す指標とすることができる。記録画像451を目的画像に圧縮するときには、圧縮率が大きいほど記録画像451のノイズは目立たなくなる。画素数の比率Na/Nbは、記録画像451におけるノイズの大きさが目的画像まで圧縮されたときの顕著性を評価する指標とすることができる。
The noise intensity S increases as the average value σm of the standard deviation increases and as the ratio Na / Nb of the number of pixels increases. A large standard deviation mean value σm corresponds to a large variation in pixel values in a small image with a small change in luminance, and can therefore be used as an index indicating the strength of noise in the recorded
画素数の比率Na/Nbの平方根を計算するのは、全画素数Na、Nbは二次元的な広がりをもつ値であり、たとえば、画素数の比率が1/4のときに一次元の長さの比率がその平方根である1/2になることをノイズの画素における広がりに反映させて評価するためである。ブロック415で画質評価部207は、撮影制御部203にノイズ強度Sを通知する。ブロック417で撮影制御部203は、ノイズ強度Sと所定の閾値を比較してノイズ強度Sが大きいときはブロック423に移行し小さいときはブロック419に移行する。
The square root of the pixel number ratio Na / Nb is calculated based on the total number of pixels Na and Nb having a two-dimensional spread. For example, when the pixel number ratio is 1/4, the one-dimensional length is calculated. This is because the ratio of the height becomes 1/2 which is the square root, and is reflected in the spread of the noise in the pixel. In
ブロック423で撮影制御部203は、ノイズ感が目的画像の要求を満たさないと判断して、たとえばタッチスクリーン15に表示した撮影目的アイコン371(図6)の色を変化させることで記録画像451が撮影目的に適合しないことをユーザに通知する。このとき、撮影目的アイコン371のすべてを画質の適合性および非適合性を示す色で表示するようにしてもよい。また、アイコンの色は、ブレ強度Bの大きさに応じて多段階で変えるようにしてもよい。
In
さらに撮影制御部203は撮影条件設定画像373を表示し、ユーザにノイズリダクションや記録画素数の設定をするように促す。ブロック419で画質評価部207は、他のサブ画素についてもブロック401からブロック417までの手順を実行する。撮影制御部203は、すべてのサブ画素のノイズ強度Sが所定値未満のときは、ブロック421で撮影目的アイコン371のアイコンの色を変化させてユーザに通知し、さらにモニター画像を評価していた場合はタッチスクリーン15に撮影ボタンを表示する。
Further, the
[ブレの判定]
図10は、撮影支援システム200が、撮影後の記録画像のブレの程度を定量化して処理する手順を説明するためのフローチャートである。ブロック501で画質評価部207は、図11(A)に示すように対象となるカラーの記録画像551を輝度画像553に変換する。輝度画像553は、記録画像551の各画素を、RGBのサブ画素の画素値の平均値とした画像である。
[Judgment of blur]
FIG. 10 is a flowchart for explaining a procedure in which the photographing
ブロック503で画質評価部207は図11(B)に示すように、周知の方法で輝度画像553から画素値が急激に変化する位置に存在する複数のエッジ画素群555を抽出する。なお、図5のブロック306で評価領域372が設定されているときは、評価領域372の中からエッジ画素群555を抽出する。ブロック505で画質評価部207は、エッジ画素群555を構成する各エッジ画素について、図11(C)に示すように、上下左右の4方向に並ぶ画素から画素値の勾配を計算するために、例えばエッジ画素群555の一部であるエッジ画素556との画素値の差の絶対値が所定の閾値未満になる画素557a〜557dを特定する。
In
上下左右の4方向について画素値の勾配を計算するのは、輝度画像553だけからブレが発生している方向を判断できないからである。このとき、ジャイロセンサー63を使って記録画像551を撮影したときにスマートフォン100が移動していた方向を判断することで、一次元の方向だけについて画素値の勾配を計算することができる。さらに画質評価部207は、エッジ画素556と各画素557a〜557dまでのブレ距離r1〜r4を計算する。
The reason why the gradient of the pixel value is calculated in the four directions of up, down, left, and right is because it is impossible to determine the direction in which the blur occurs from only the
ブロック507で画質評価部207は、上下方向の平均距離x=(r1+r2)/2、左右方向の平均距離y=(r3+r4)/2を計算して、エッジ画素556に対するブレ強度を平均距離xと平均距離yの2乗平均値として計算する。ブロック509で画質評価部207は、エッジ画素群555を構成するすべてのエッジ画素についてブレ強度を計算し、さらにそれらを平均して平均ブレ強度Bmとする。
In
ブロック511で画質評価部207は、平均ブレ強度Bmと、目的画像の全画素数をNaとし記録画像551の全画素数をNb(Na<Nb)としたときの画素数の比率の平方根SQRT(Na/Nb)を乗算して得た値をブレ強度Bとする。ブレ強度Bは、平均ブレ強度Bmが大きいほど、また画素数の比率Na/Nbが大きいほど大きい値になる。平均ブレ強度Bmが大きいことは、記録画像551でエッジ部分の境界がぼやけていることまたはエッジ部分のラインが太いことに相当しブレの指標とすることができる。画素数の比率Na/Nbの意義および平方根を計算する意義は、図8のブロック413で説明したとおりであるが、画素数の比率Na/Nbが小さいときは目的画像でのブレが十分に圧縮されて目立たなくなるためブレ強度Bは小さくなる。
In
ブロック513で画質評価部207は、撮影制御部203にブレ強度Bを通知する。ブロック515で撮影制御部203はブレ強度Bが所定の閾値以上のときはブロック519に移行し閾値未満のときはブロック517に移行する。ブロック519で撮影制御部203は、ブレの程度が目的画像の要求を満たさないと判断して、たとえばタッチスクリーン15に表示した撮影目的アイコン371(図6)の色を変化させることで記録画像551が撮影目的に適合しないことを通知する。通知の方法は図8のブロック423で説明した方法を採用することができる。さらに撮影制御部203は撮影条件設定画像375を表示し、ユーザにシャッター速度や記録画像551の画素サイズの再設定を促す。ブロック517で撮影制御部203は、撮影目的アイコン371の色を変化させてユーザに記録画像553が目的画像に適していることを通知する。
In
[ボケの判定]
図12は、撮影支援システム200が、撮影後の記録画像のボケの程度を定量化して処理する手順を説明するためのフローチャートである。図13(A)に示すようにブロック601で画質評価部207は対象となるカラーの記録画像651を輝度画像653に変換する。輝度画像653は、記録画像651の各画素を、サブ画素の画素値の平均値とした画像である。ブロック603で画質評価部207は、輝度画像653の周辺部を除いた画素655を含むすべての画素の勾配パワーを計算する。
[Determine blur]
FIG. 12 is a flowchart for explaining a procedure in which the photographing
勾配パワーは、図13(B)に代表的な画素655として示したように、各画素に隣接する4つの画素との間で、画素値の差の2乗平均値として計算する。ブロック605で画質評価部207は、すべての画素のなかから勾配パワーが最大の画素を選択する。最大値が同じ勾配パワーの画素が複数ある場合は複数の画素を選択する。画質評価部207は、図5のブロック306でユーザがボケの程度に関心がある評価領域372を設定しているときは、評価領域372から勾配パワーが最大の画素を選択することができる。
The gradient power is calculated as the mean square value of the difference in pixel value between the four pixels adjacent to each pixel, as shown as a
ブロック607で画質評価部207は、図13(C)に示すボケを評価するための正方形の評価ウィンドウ657a〜657cの位置とサイズを計算する。画質評価部207は、評価ウィンドウ657a〜657cの中心の位置を、輝度画像653の領域のなかで勾配パワーが最大の画素を中心に設定する。勾配パワーが最大の画素を設定するのは、輝度画像653の領域のなかで輝度が急峻に変化する画素がボケの評価をし易いからである。
In
画質評価部207は、目的画像の全画素数をNaとし記録画像651の全画素数をNb(Na<Nb)としたときの画素数の比率Nb/Naの平方根SQRT(Nb/Na)を2倍して得た値を評価ウィンドウ657a〜657cのサイズとする。評価ウィンドウ657a〜657cのサイズは、圧縮されたときに画素サイズの小さな目的画像では小さくなるボケの程度を、圧縮される前の画素サイズが大きな輝度画像653で評価する領域に相当する。
The image
ブロック609で画質評価部207は、評価ウィンドウ657a〜657cのそれぞれが含む小画像についてボケ強度Rを計算する。画質評価部207は、評価ウィンドウ657aの小画像をフーリェ変換して周波数応答解析をし、図13(D)に示す周波数スペクトルを計算する。図13(D)の横軸は撮像素子の解像度で決まる小画像の空間周波数を正規化した値で、縦軸は振幅スペクトルである。
In
一般に周波数スペクトルが−6dB未満の画像の成分は画質の評価において無視してよい。また、ナイキスト周波数より高い高周波成分は記録画像に再現できない。ここで、ボケ強度Rを撮像素子のナイキスト周波数(1/2)に相当する振幅スペクトルと定義し、ボケ強度Rに対して一例として−6dBの閾値を設定する。図13(D)には、異なる評価ウィンドウ657a、657bが含む小画像からそれぞれ計算した2つの周波数スペクトル661、663を例示している。周波数スペクトル661のボケ強度は−R1dBで閾値以上であり、周波数スペクトル663のボケ強度は−R2dBで閾値未満である。
In general, an image component having a frequency spectrum of less than −6 dB may be ignored in the evaluation of image quality. Further, high frequency components higher than the Nyquist frequency cannot be reproduced in the recorded image. Here, the blur intensity R is defined as an amplitude spectrum corresponding to the Nyquist frequency (1/2) of the image sensor, and a threshold value of −6 dB is set as an example for the blur intensity R. FIG. 13D illustrates two
ブロック611で画質評価部207は、撮影制御部203にボケ強度Rを通知する。ブロック613で撮影制御部203は、ボケ強度Rを判定する。撮影制御部203は、すべての評価ウィンドウ657a〜657cの小画像について計算したボケ強度Rが−6dB以上であればボケは目立たないと判断してブロック615に移行し、いずれかの小画像から計算したボケ強度Rが−6dB未満であればボケが顕著であると判断してブロック617に移行する。
In
図13(D)から明らかなように、周波数スペクトル663は周波数スペクトル661に比べてナイキスト周波数よりも小さい周波数の範囲で高周波成分が少なくなっている。撮影制御部203は、周波数スペクトル661のようにナイキスト周波数でのボケ強度Rが−6dB以上あれば、記録画像651の高周波成分が多いため、画素数の比率Na/Nbで圧縮した目的画像では、ボケが問題にならないと判断する。撮影制御部203は、周波数スペクトル663のようにナイキスト周波数でのボケ強度Rが−6dB未満であれば、記録画像651の高周波成分が少ないため、目的画像を画素数の比率Na/Nbで圧縮してもボケが目立つと判断する。評価ウィンドウ657a〜657cのサイズが大きいときは、それだけ小画像が含む高周波成分が多くなるためボケ強度Rは大きくなりボケは目立たないと判断する。
As is clear from FIG. 13D, the
ブロック617で撮影制御部203はボケの程度が目的画像の要求を満たさないと判断して、タッチスクリーン15に図8のブロック423で説明したように撮影目的アイコン371(図6)の色を変えて撮影用途に対する画質の適合性および非適合性を表示する。さらに、撮影条件設定画像375(図7)を表示してユーザに撮影条件の再設定を促す。ブロック615で撮影制御部203は、アイコンの色を変えた撮影目的アイコン371(図6)を表示して、ユーザに記録画像651が目的画像に適していることを通知する。
In
これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。 Although the present invention has been described with the specific embodiments shown in the drawings, the present invention is not limited to the embodiments shown in the drawings, and is known so far as long as the effects of the present invention are achieved. It goes without saying that any configuration can be adopted.
10 スマートフォン
11 カメラ・モジュール
15 タッチスクリーン
80 利用デバイス
100 記録画像
101a〜101e 記録画像
200 撮影支援システム
371 撮影目的アイコン
372 評価領域
373、375 撮影条件設定画像
453a〜453d、657a〜657c 評価ウィンドウ
555 エッジ画素群
DESCRIPTION OF
Claims (20)
利用デバイスで表現する目的画像に対応する画素数を前記カメラ・モジュールに設定するステップと、
前記設定した画素数で前記カメラ・モジュールが撮影した画像を取得するステップと、
前記取得した画像の画素数と前記目的画像の画素数の比を利用して前記取得した画像のノイズ感を評価するステップと
を有する処理を実行させるためのコンピュータ・プログラム。 For portable electronic devices equipped with a display and camera module,
Setting the number of pixels in the camera module corresponding to the target image to be expressed by the device used;
Obtaining an image taken by the camera module with the set number of pixels ;
Computer program for executing a process having a step of evaluating the sense of noise images the acquired using pixels the ratio of the number of the acquired image of the pixel number and the target image.
前記取得した画像から小画像を抽出するステップと、
前記小画像を構成する複数の画素の画素値のバラツキを計算するステップと、
前記取得した画像と前記目的画像の画素数の比を計算するステップと、
前記バラツキと前記画素数の比を利用してノイズ強度を計算するステップと
を含む請求項1に記載のコンピュータ・プログラム。 Evaluating the noise sensation,
Extracting a small image from the acquired image;
Calculating variations in pixel values of a plurality of pixels constituting the small image;
Calculating a ratio of the number of pixels of the acquired image and the target image;
The computer program according to claim 1 , further comprising: calculating a noise intensity using a ratio between the variation and the number of pixels .
複数の小画像を抽出するステップと、
各小画像について平均画素値と各画素の差分値を計算して前記複数の小画像の中から前記差分値が小さい小画像を選択するステップと
を含む請求項6に記載のコンピュータ・プログラム。 Extracting the small image comprises:
Extracting a plurality of small images;
The computer program according to claim 6 , further comprising: calculating an average pixel value and a difference value of each pixel for each small image, and selecting a small image having a small difference value from the plurality of small images.
利用デバイスで表現する目的画像に対応する画素数を前記カメラ・モジュールに設定するステップと、
前記設定した画素数で前記カメラ・モジュールが撮影した画像を取得するステップと、
前記取得した画像の画素数と前記目的画像の画素数の比を利用して前記取得した画像の撮影時の前記カメラ・モジュールの揺れに起因するブレを評価するステップと
を有する処理を実行させるためのコンピュータ・プログラム。 For portable electronic devices equipped with a display and camera module,
Setting the number of pixels in the camera module corresponding to the target image to be expressed by the device used;
Obtaining an image taken by the camera module with the set number of pixels ;
For executing a process having a step of evaluating the blur caused by shaking of the camera module during photographing of the acquired image of the pixel number and the image by using the pixel number of the ratio of the target image and the acquired Computer program.
前記取得した画像からエッジ画素を抽出するステップと、
前記エッジ画素から画素値の勾配が所定値になる画素までのブレ距離を計算するステップと、
前記取得した画像と前記目的画像の画素数の比を計算するステップと、
前記ブレ距離と前記画素数の比を利用してボケ強度を計算するステップと
を含む請求項8に記載のコンピュータ・プログラム。 Assessing the blur comprises
Extracting edge pixels from the acquired image;
Calculating a blur distance from the edge pixel to a pixel having a predetermined pixel value gradient;
Calculating a ratio of the number of pixels of the acquired image and the target image;
The computer program according to claim 8 , further comprising: calculating a blur intensity using a ratio between the blur distance and the number of pixels .
利用デバイスで表現する目的画像に対応する画素数を前記カメラ・モジュールに設定するステップと、
前記設定した画素数で前記カメラ・モジュールが撮影した画像を取得するステップと、
前記取得した画像の画素数と前記目的画像の画素数の比を利用して前記取得した画像のピント合わせに起因するボケを評価するステップと
を有する処理を実行させるためのコンピュータ・プログラム。 For portable electronic devices equipped with a display and camera module,
Setting the number of pixels in the camera module corresponding to the target image to be expressed by the device used;
Obtaining an image taken by the camera module with the set number of pixels ;
Computer program for executing a process having a step of evaluating the blurring caused by the focus of the acquired image of the pixel number and the target image pixel number ratio images the acquired utilized.
前記取得した画像から小画像を抽出するステップと、
前記小画像の周波数スペクトルを計算するステップと、
前記取得した画像と前記目的画像の画素数の比を計算するステップと、
前記周波数スペクトルと前記画素数の比を利用してボケ強度を計算するステップと
を含む請求項11に記載のコンピュータ・プログラム。 Evaluating the blur comprises:
Extracting a small image from the acquired image;
Calculating a frequency spectrum of the small image;
Calculating a ratio of the number of pixels of the acquired image and the target image;
The computer program according to claim 11 , further comprising: calculating a blur intensity using the ratio between the frequency spectrum and the number of pixels .
前記タッチスクリーンを通じて撮影目的の指示を受け取るステップと、
前記タッチスクリーンに前記撮影目的に関連付けられた画素数のモニター画像を表示するステップと、
前記モニター画像から静止画像を取得するステップと、
前記静止画像のノイズ感が前記撮影目的に適合するか否かを評価するステップと、
前記ノイズ感の評価結果を前記タッチスクリーンに表示するステップと
を有する方法。 A method in which a portable electronic device equipped with a touch screen and a camera module supports a user who takes an image to be transferred to a utilization device having a resolution larger than the resolution of the touch screen,
Receiving instructions for shooting purposes through the touch screen;
Displaying a monitor image of the number of pixels associated with the shooting purpose on the touch screen;
Obtaining a still image from the monitor image;
Evaluating whether the noise sensation of the still image fits the shooting purpose;
Displaying the evaluation result of the noise feeling on the touch screen.
前記タッチスクリーンを通じて撮影目的の指示を受け取るステップと、
前記撮影目的に関連付けられた画素数で撮影して画像を記録するステップと、
前記記録した画像のノイズ感が前記撮影目的に適合するか否かを評価するステップと、
前記ノイズ感の評価結果を前記タッチスクリーンに表示するステップと
を有する方法。 A method in which a portable electronic device equipped with a touch screen and a camera module supports a user who takes an image to be transferred to a utilization device having a resolution larger than the resolution of the touch screen,
Receiving instructions for shooting purposes through the touch screen;
Shooting with the number of pixels associated with the shooting purpose and recording an image;
Evaluating whether the noise sensation of the recorded image is suitable for the shooting purpose;
Displaying the evaluation result of the noise feeling on the touch screen.
モニター画像を出力するカメラ・モジュールと、
前記タッチスクリーンに撮影目的を指定する画像を表示する撮影制御部と、
前記指定された撮影目的に対して関連付けられた画素数の前記モニター画像を前記カメラ・モジュールから受け取るモニター画像取得部と、
前記モニター画像の画素数と撮影した画像を利用する利用デバイスの解像度の比を利用して前記モニター画像のノイズ感を評価する画質評価部と
を有する携帯式電子機器。 Touch screen,
A camera module that outputs monitor images;
A shooting control unit for displaying an image for specifying a shooting purpose on the touch screen;
A monitor image acquisition unit that receives the monitor image of the number of pixels associated with the designated imaging purpose from the camera module;
A portable electronic device comprising: an image quality evaluation unit that evaluates a noise feeling of the monitor image by using a ratio between the number of pixels of the monitor image and a resolution of a utilization device that uses the captured image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014203706A JP5972947B2 (en) | 2014-10-02 | 2014-10-02 | Method for supporting user photographing, portable electronic device, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014203706A JP5972947B2 (en) | 2014-10-02 | 2014-10-02 | Method for supporting user photographing, portable electronic device, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016072939A JP2016072939A (en) | 2016-05-09 |
JP5972947B2 true JP5972947B2 (en) | 2016-08-17 |
Family
ID=55867511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014203706A Active JP5972947B2 (en) | 2014-10-02 | 2014-10-02 | Method for supporting user photographing, portable electronic device, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5972947B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6952499B2 (en) * | 2017-05-31 | 2021-10-20 | キヤノン株式会社 | Information processing equipment and programs |
CN116416579B (en) * | 2023-06-12 | 2023-08-18 | 广东德燊科技有限公司 | Intelligent analysis management system for park security monitoring storage information |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10232949A (en) * | 1997-02-19 | 1998-09-02 | Canon Inc | Processor and method for image processing |
JP4373027B2 (en) * | 2001-04-27 | 2009-11-25 | オリンパス株式会社 | Electronic camera |
JP2004112360A (en) * | 2002-09-19 | 2004-04-08 | Ricoh Co Ltd | Digital camera |
JP2007067493A (en) * | 2005-08-29 | 2007-03-15 | Fujifilm Corp | Imaging apparatus |
JP2009182831A (en) * | 2008-01-31 | 2009-08-13 | Fujifilm Corp | Photographing device and photographing method |
JP5547975B2 (en) * | 2009-04-23 | 2014-07-16 | オリンパス株式会社 | Imaging apparatus, microscope system, and white balance adjustment method |
JP2011035514A (en) * | 2009-07-30 | 2011-02-17 | Sony Corp | Image processing device and method, and program |
JP2012191265A (en) * | 2011-03-08 | 2012-10-04 | Nikon Corp | Image processing apparatus and program |
-
2014
- 2014-10-02 JP JP2014203706A patent/JP5972947B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016072939A (en) | 2016-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9066017B2 (en) | Viewfinder display based on metering images | |
US20150109478A1 (en) | Determining an Image Capture Payload Burst Structure Based on a Metering Image Capture Sweep | |
EP3323238B1 (en) | Photographing apparatus using multiple exposure sensor and photographing method thereof | |
US9247152B2 (en) | Determining image alignment failure | |
KR20090111136A (en) | Method and Apparatus of Selecting Best Image | |
WO2012106314A2 (en) | Estimating subject motion between image frames | |
KR20140102443A (en) | Object tracking method using camera and camera system for object tracking | |
KR101450782B1 (en) | Image processing device and program | |
WO2015156151A1 (en) | Image processing device, imaging device, image processing method, and program | |
JP2018107593A (en) | Image processing apparatus, image processing method, and program | |
JP6141137B2 (en) | REMOTE CONTROL DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE AND ITS CONTROL METHOD, SYSTEM, AND PROGRAM | |
US11140331B2 (en) | Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus | |
JP5972947B2 (en) | Method for supporting user photographing, portable electronic device, and computer program | |
US8086063B2 (en) | Image display apparatus and method, and program | |
CN106851099B (en) | A kind of method and mobile terminal of shooting | |
US20170263013A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US11595584B2 (en) | Imaging apparatus, method of controlling imaging apparatus and computer-readable medium | |
JP2006180078A (en) | Electronic camera, image processor and image processing program | |
CN108881636B (en) | Backlight mode automatic switching method and device, electronic equipment and computer readable storage medium | |
JP5929774B2 (en) | Image acquisition method, apparatus, and program | |
JP5629238B2 (en) | Image processing program, image processing apparatus, and image processing method | |
JP6086656B2 (en) | Server system, program, and processing method | |
WO2018214284A1 (en) | Image photographing method applied to terminal, and terminal device | |
JP2012133492A (en) | Image processing device and program | |
JP5631181B2 (en) | Image processing apparatus, control method therefor, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5972947 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |