JP5493455B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP5493455B2 JP5493455B2 JP2009111708A JP2009111708A JP5493455B2 JP 5493455 B2 JP5493455 B2 JP 5493455B2 JP 2009111708 A JP2009111708 A JP 2009111708A JP 2009111708 A JP2009111708 A JP 2009111708A JP 5493455 B2 JP5493455 B2 JP 5493455B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- effect
- environment information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
- H04N1/32112—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate computer file, document page or paper sheet, e.g. a fax cover sheet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3214—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3242—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
- H04N2201/3264—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3273—Display
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
即ち撮像画像を見ている人が、撮像時の雰囲気を感じられるようにするものである。
また上記動的画像効果とは、静止画像の表示期間のうちの少なくとも一部期間に連続的な視覚的変化を生じさせる画像効果である。
また上記表示制御部は、静止画像の表示中に表示パラメータを変化させることで、表示画面上で上記動的画像効果が実行されるようにする。
また上記表示制御部は、静止画像の表示中に、該静止画像に対する画像合成処理を行うことで、表示画面上で上記動的画像効果が実行されるようにする。
また複数の画像データを順次再生表示させる場合において、上記比較対象となる環境情報は、再生表示を行う画像データの直前に再生対象とされた画像データについての環境情報である。
また選択パラメータに応じて、順次再生表示させる複数の画像データを選択する順次再生制御部をさらに備える。
また、上記比較対象となる環境情報は、時間情報が再生表示を行う画像データに最も近い前の時点の画像データについての環境情報である。
また上記比較対象となる環境情報は、固定的な値として設定された環境情報である。
また上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報と、比較対象となる環境情報とを、それぞれ体感環境情報に変換し、体感環境情報の比較によって得られる体感環境情報差分に基づいて、再生表示を行う画像データについての動的画像効果を決定する。
また上記画像効果決定部は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、動的画像効果の実行/不実行、又は実行/不実行の判定基準を決定する。
また上記画像効果決定部は、画像データの画像内容に基づいて、動的画像効果の実行/不実行、又は実行/不実行の判定基準を決定する。
また上記環境情報には、画像データ撮像時の周囲の温度情報、画像データ撮像時の外光光量情報、画像データ撮像時の時間情報、画像データ撮像場所情報のうちの少なくとも1つが含まれる。
本発明のプログラムは、この画像処理方法を情報処理装置に実行させるプログラムである。
また、動的な画像効果を与えることで、見ている人によりダイナミックに雰囲気を伝えることができる。
[1.本発明の適用−実施の形態の画像処理装置]
[2.実施の形態としての撮像装置の構成]
[3.撮像時の処理及び環境情報例]
[4.動的画像効果を与えるスライドショウ再生]
[5.画像効果例]
[6.スライドショウ選択再生]
[7.一画像からの効果設定]
[8.各種変形例、適用例]
[9.情報処理装置/プログラム]
実施の形態の画像処理装置は、再生対象とする画像データの撮像時の環境情報を用いて表示の際の画像効果を決定し、当該画像効果を与えた再生表示を行うことで、画像と共に撮像時の雰囲気が再現されるような表示を行うものである。
このような画像処理装置による動作は、各種多様な機器やシステムにおいて実現される。
図1(a)はデジタルスチルカメラとしての撮像装置1を示している。この撮像装置1が実施の形態の画像処理装置としての機能を有することで、撮像した画像データについて表示パネル6で再生表示を行う際に、環境情報に基づく画像効果を与えた表示を行うことができる。
即ち撮像装置1は、撮像処理によって内部メモリやメモリカード等の記録媒体に撮像した画像データを記憶する。このとき、撮像時の環境情報も取得するようにし、撮像した画像データに関連付けて環境情報も記憶する。
そして画像データを再生する際には、対応する環境情報も読み出し、環境情報に基づいて画像効果を決定する。そして画像データを再生表示する際に、その決定した画像効果を与えて表示パネル6で画像表示を実行する。
これによりユーザは、撮像装置1を単体で用いて撮像画像を再生させる際に、撮像時の雰囲気を再現した画像表示を見ることができる。
撮像装置1で撮像した画像を、接続したモニタ装置100で表示させる際、撮像装置1が上記の画像処理装置としての機能を持つことで、再生時に環境情報に基づいた画像効果を与えた表示をモニタ装置100上で見ることができる。
画像再生装置101は、装填された可搬性記録媒体に記録された画像データ、内部メモリ、ハードディスクドライブ(HDD:Hard Disk Drive)等の記録媒体に記録された画像データ等を再生し、再生画像信号としてモニタ装置100に出力する。
この画像再生装置101には、撮像装置1等で撮像された画像データが記憶されたメモリカード等を装填したり、或いは撮像装置1から画像データを転送して内部のHDD等に記録させることができる。このとき、画像データとともに環境情報も記録媒体に記録された状態とする。
画像再生装置101が、記録媒体から画像データを再生する際に、その画像データに対応する環境情報も読み出し、環境情報に基づいて画像効果を決定する。そして画像効果を与えた再生画像信号を生成してモニタ装置100に出力する。これによりユーザは、撮像画像を画像再生装置101で再生させる際に、撮像時の雰囲気を再現した画像表示を見ることができる。
即ち、モニタ装置100が他の機器(デジタルスチルカメラやビデオプレーヤ等)から画像データと環境情報の転送を受けるようにする。そしてモニタ装置100の内部で、画像データの再生に際しての画像効果を環境情報に基づいて決定し、画像効果を与えたた再生表示を行うものである。
各種機器において本実施の形態を実現する場合、それらの機器やシステムにおいて設けられる構成例を図2に示す。
図2では、画像格納部200、制御部201、画像処理/表示制御部202、表示部203、画像出力部204、操作入力部205、画像解析部206を示している。
この画像格納部200は、例えばメモリカード、光ディスク等の可搬性記録媒体とその再生部として構成されたり、HDDとして構成されたり、内部メモリ(RAM、フラッシュメモリ等)として構成される。また画像格納部200は接続された外部機器、或いはネットワーク等を介して通信可能な外部機器として構成されてもよい。
各フォルダにおいては、画像データPCTだけでなく、その画像データの撮像時の環境情報CIも関連付けられて記憶される。例えば画像データPCT(PCT11,PCT12・・・)にそれぞれ対応して環境情報CI(CI11,CI12・・・)が記憶される。
制御部201は、データ読出処理、画像効果決定処理、画像再生制御処理等を行う。
データ読出処理とは、再生する画像データPCT及び環境情報CIを画像格納部200から読み出す処理である。
画像効果決定処理とは、再生対象とする画像データPCTの撮像時の環境情報CIを用いて表示の際の画像効果を決定する処理である。
画像再生制御処理とは、例えばスライドショウ再生やユーザの操作に応じた再生などとしての再生動作の制御処理である。
この画像処理/表示制御部202は、制御部201で決定された画像効果の種類又は効果量に応じて、再生する画像データに対してこれらの処理を行って、表示画像信号を生成する。
そして生成された表示画像信号が、表示部203で表示出力されたり、画像出力部204から外部モニタ機器に出力されて表示されることになる。
これにより、画像データPCTの再生に際して、環境情報CIに基づいて決定された種類又は効果量に応じた効果態様で、画像効果が与えられた表示が実行される。
操作入力部205による操作情報は制御部201によって検知され、制御部201は操作に応じた動作制御を行う。例えば制御部201は画像再生制御や再生画像の選択処理等を操作情報に応じて実行する。
画像解析部206は、画像データを解析して画像内容を判別する。例えば風景画像であるか人が写っている画像であるかなどの判別を行う。この解析結果に基づいて、制御部201が再生画像を選択したり、解析結果を画像効果決定の一要素として用いることなどができる。
以下、より具体的な実施の形態として、本発明を例えばデジタルスチルカメラとしての撮像装置1に適用した例により、構成及び動作を詳細に説明していく。
実施の形態の撮像装置1の構成を図3で説明する。
レンズ機構部21は、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。
レンズ駆動部26は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。このレンズ駆動部26はレンズ駆動ドライバ17によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するCPU(Central Processing Unit)31はレンズ駆動ドライバ17を制御することで、焦点制御やズーム動作を実行させる。
絞り/ND駆動ドライバ18は、絞り機構の開閉により入射光量の調節を行う。また絞り/ND駆動ドライバ18は、NDフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。CPU31は、絞り/ND駆動ドライバ18を制御して絞り機構やNDフィルタを駆動させることで入射光量制御(露光調整制御)を行うことができる。
撮像素子部23は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部23は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部24に出力する。撮像素子部23としては、例えばCCD(Charge Coupled Device)センサアレイ、CMOS(Complementary Metal Oxide Semiconductor)センサアレイなどが用いられる。
A/D変換部25は、アナログ信号処理部24で処理されたアナログ信号をデジタル信号に変換し、カメラDSP4に供給する。
即ちタイミング生成回路28は、撮像素子部23の撮像動作タイミングを制御するために、露光/電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ19を介して撮像素子部23に供給する。またアナログ信号処理部24で、撮像素子部23での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部24にも供給する。
CPU31は、タイミング生成回路28により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御(フレーム内の露光時間可変制御)を行うことができる。またCPU31は、例えばタイミング生成回路28を介してアナログ信号処理部24にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。
フラッシュ発光部15は発光駆動部14によって発光駆動される。CPU31は、ユーザの操作その他による所定タイミングで、発光駆動部14にフラッシュ発光を指示し、フラッシュ発光部15を発光させることができる。
このカメラDSP4では、例えば図示のように画像信号処理部41,圧縮/解凍処理部42、SDRAMコントローラ43等の処理機能が内部のハードウエア及びソフトウエアにより実現される。
なお、レンズ駆動部26における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部27は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてCPU31に供給することができる。これによってCPU31は、合焦状態としている主たる被写体までの距離を判別できる。
CPU31は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、NDフィルタ、或いは撮像素子部23における電子シャッタ制御、アナログ信号処理部24へのゲイン制御により、露光調整を行うことができる。
SDRAMコントローラ43は、これらのデータについてSDRAM9に対する書込/読出を行う。
特にCPU31は、表示パネル6における表示画像や外部のモニタ装置に出力する表示画像信号に関しては、図2で述べた制御部201としての処理機能を有し、必要な演算処理、制御処理を実行する。
即ちCPU31はデータ読出処理として、再生する画像データ及び環境情報を記録媒体90やフラッシュROM33等から読み出す処理を行う。
またCPU31は画像効果決定処理として、再生対象とする画像データの撮像時の環境情報を用いて表示の際の画像効果を決定する処理を行う。
またCPU31は、画像再生制御処理として、例えばスライドショウ再生やユーザの操作に応じた再生などとしての再生動作の制御処理を行う。
フラッシュROM33は、撮像画像としての(ユーザが静止画又は動画として撮像した)画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置1の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。
時計回路34は、現在日時情報(年月日時分秒)を計数する。
例えば画像解析部35は被写体画像に含まれている人物認識や顔認識の処理を行う。また風景を中心とした画像であるかの判別を行う。さらに画像解析部35は、対象の画像データについての撮像時の外光状況、撮像時の天候(雨/晴れ)、位置(屋外/屋内/水中等)など、画像解析によって認識可能な各種の情報を検出する場合もある。
操作子としては、例えばシャッタ操作キー、モード選択のダイヤル、ワイド/テレ操作キー、メニュー項目選択や画像選択その他に用いられる十字キー、カーソルキーなどが設けられる。
なお、操作部5としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。例えば表示パネル6にタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。
操作部5は図2の操作入力部205に相当する。
表示コントローラ7は、図2の画像処理/表示制御部202に相当し、表示パネル6は表示部203に、また画像出力部11は画像出力部204に、それぞれ相当する。
表示パネル6は例えば図1(a)のように撮像装置1の筐体上に液晶パネルや有機EL(Electroluminescence)パネルなどとして設けられる。
画像出力部11は、アナログ映像信号出力端子やデジタル映像信号出力端子などとして設けられる。
この表示コントローラ7は、CPU31で決定された画像効果の種類又は効果量に応じて、再生する画像データに対してこれらの処理を行って、表示画像信号を生成する。
そして生成された表示画像信号が、表示パネル6で表示出力されたり、画像出力部11から外部モニタ機器(例えば図1(b)に示したモニタ装置100)に出力されて表示されることになる。
これにより、画像データの再生に際して、環境情報に基づいて決定された種類又は効果量に応じた効果態様で、画像効果が与えられた表示が実行される。
また表示コントローラ7は、表示パネル6や外部のモニタ装置における表示動作として、記録媒体90やフラッシュROM33から読み出した再生画像表示の他に、操作メニュー表示、各種アイコン表示、時刻表示なども行われるようにする。
なお、ここでは記録媒体90として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、HDDを搭載して記録するようにしてもよい。
この記録媒体90や上述したフラッシュROM33が、図2で言う画像格納部200に相当する。即ち記録媒体90や上述したフラッシュROM33において、画像データPCTと環境情報CIが、例えばフォルダFLD毎に格納される。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース8を構成しても良い。
撮像装置1は、この外部インターフェース8を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像した画像データPCTや環境情報CIを外部機器に転送することができる。
例えば温度センサ、湿度センサ、外光光量センサ、紫外線光量センサ、風量センサ、風速センサ、風向センサ、速度センサ、加速度センサ、気圧センサ、水圧センサ、高度センサ、音量センサなどがセンサ部12として搭載されることが想定される。
また、位置センサとして、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力するGPS受信部などもセンサ部12として設けることも考えられる。
先に図2で、画像格納部200には画像データPCTと環境情報CIが格納されると述べた。図3の撮像装置1の場合、撮像の際に、記録媒体90又はフラッシュROM33において、画像データPCTと環境情報CIが記録されることになる。ここでは、このような記録を行う撮像時の処理について説明する。
ここでは、環境情報CI(x)の内容は、気温:25℃、光量:10000ルクス、紫外線光量:100ルクス、湿度:40%、風量:4m/sとされている。
この環境情報CI(x)の内容は、画像データPCT(x)の撮像の際に得られた環境値である。つまり撮像者がその時点で感じている雰囲気(寒暖、明暗等)に応じた値となる。
撮像装置1は、撮像時において、画像データPCTを記録するとともに、センサ部12、画像解析部35、画像信号処理部41、ネットワークインターフェース29、時計回路34から、各種の環境値を取得し、環境情報CIを生成する。
撮像装置1は例えばパワーオンとなると、ステップF1でモニタリング動作を開始する。なお、ユーザが電源オフ状態から再生指示操作を行う場合など、パワーオンの際に再生動作状態となる場合もある。再生動作状態とは、後述するように撮像した画像を再生する場合であり、この場合の処理は図5では省略している。
ユーザが、通常に撮像装置1を用いて静止画等の撮像を行う場合は、撮像系2による撮像を行うための動作としてまずモニタリング動作が行われる。
即ちCPU31は、モニタリング動作においては撮像系2、カメラDSP4にそれぞれ撮像時に必要な動作を実行させる。そしてカメラDSP4から供給されるフレーム毎の撮像画像データを例えばRAM32に取り込む。そしてこのフレーム毎の撮像画像データを表示コントローラ7に受け渡し、表示パネル6にモニタリング表示を実行させる。
このモニタリング動作により、ユーザは、表示パネル6の表示を見ながら、被写体を選択したり、シャッタータイミングを狙うこととなる。
ユーザがシャッタ操作を行っていない期間は、撮像終了(例えばパワーオフ)とならなければ、ステップF2→F6→F1としてモニタリング動作が継続される。
即ちCPU31は、このシャッタ操作のタイミングで撮像される1フレームの撮像画像データを、静止画データとして保存する処理を行う。CPU31は当該タイミングで取り込んだ撮像画像データを媒体インターフェース10に転送し、画像データPCTとして記録媒体90に記録させる。
なおシャッタ操作に応じた記録動作としては、記録媒体90ではなく、フラッシュROM33において行うようにしてもよい。また、通常は記録媒体90に記録するが、記録媒体90が装填されていない場合はフラッシュROM33に記録するような動作方式でも良い。
そしてステップF5でCPU31は環境情報CIを生成する。図4の例で言えば、例えばCPU31はセンサ部12における温度センサ、光量センサ、紫外線光量センサ、湿度センサ、風量センサから、気温、光量、紫外線光量、湿度、風量の各環境値を取り込んで、図示するような環境情報CIを生成する。
そしてCPU31は生成した環境情報CIを、記録媒体90(又はフラッシュROM33)に、画像データPCTに関連づけした状態で記録させる。
記録媒体90等に記録された画像データPCTについては、そのまま撮像装置1を再生モードの動作により表示パネル6で再生させることができる。その際にCPU31は、再生する画像データPCTに対応する環境情報CIを用いて、画像効果を与える制御を行う(図1(a)の態様)。
また、画像効果を与えるようにした表示信号を画像出力部11から外部のモニタ装置100等に出力し、モニタ装置100等で同様の表示を行わせることができる(図1(b)の態様)。
さらに、記録媒体90がメモリーカード等の可搬性記録媒体の場合は、記録媒体90を画像再生装置101やパーソナルコンピュータ102等に装填し、記録されている画像データPCTを再生させることができる。この場合に、画像再生装置101やパーソナルコンピュータ102において図2の制御部201,画像処理/表示制御部202としての構成を備えていることで、画像再生表示の際に、環境情報CIに応じた画像効果を与えることができる(図1(c)(d)の態様)。
また、撮像装置1は、記録媒体90やフラッシュROM33に記録された画像データPCTと環境情報CIを、外部インターフェース8によって画像再生装置101やパーソナルコンピュータ102に転送できる。その場合も画像再生装置101やパーソナルコンピュータ102での画像再生表示の際に、環境情報CIに応じた画像効果を与えることができる(図1(c)(d)の態様)。
撮像時にユーザが明るさや暗さを感じる周囲の光量値である。光量値は、センサ部12に光量センサを備えることで取得できる。また、撮像時には露光制御を行うために、画像信号処理部41では撮像画像信号から輝度レベルを算出している。この画像信号の輝度から外光光量を推定算出することも可能である。さらに例えばEV値、ISO感度、絞り値、シャッタ速度、レンズ特性から算出することも可能である。また、位置情報(地域、屋外/屋内等)や天候情報(その地域の日照度や天気)を参照して、算出した光量値を補正することも考えられる。
撮像時の現場の紫外線光量であり、ユーザの感じるまぶしさに影響を与える。
紫外線光量値は、センサ部12に波長フィルタを備えた光量センサを設けることで取得できる。また画像信号輝度レベル、位置情報、天候情報等を参照して紫外線光量を算出することも考えられる。
撮像時の現場の温度、湿度の情報であり、ユーザの感じる暑さ、寒さ、快適さ、不快さ等を示す指標となる。
温度、湿度の情報はセンサ部12に温度センサ、湿度センサを設けることで取得できる。またインターネット等を介して、撮像現場の位置/日時に基づいて、撮像時の温度・湿度の情報を取得することも考えられる。
撮像時の現場の風の状況の情報であり、ユーザの感じる環境の1つの要素となる。
風量、風速、風向の情報はセンサ部12に風量センサ等を設けることで取得できる。またインターネット等を介して、撮像現場の位置/日時に基づいて、撮像時の現場の風の状況の情報を取得することも考えられる。
撮像時の日時(時間情報)として、朝、昼、晩、夜、夜明け前などの時間帯の情報や、年、月、曜日、季節、祝日、平日などの情報は、ユーザが撮像時に感じる雰囲気を形成する要素となる。
この日時に関する情報は、時計回路34の日時計数により得られる。撮像場所によって、時差を考慮して時刻を修正することも適切である。
位置の情報として緯度/経度は、地図情報と合わせて具体的な場所、街、施設、地域、国等を把握できることになり、撮像現場の環境情報として有用である。さらに屋内/屋外、海中/海上、水中、高度等は、ユーザが直接的に撮像時に感じる雰囲気を作り出している情報であり、環境情報として有用である。
緯度・経度の情報は、センサ部12にGPS受信器を備えることで取得できる。また緯度/経度の精度と地図情報によっては、屋内/屋外の判別や、海上の判別も可能である。ネットワークを介して位置に応じた屋内/屋外の情報を得ることもできる。
高度は、センサ部12に高度センサを設けたり、或いは航空機等を考慮しないのであれば、緯度/経度の情報と地図情報によって高度を算出できる。
また屋内/屋外、海中/海上、水中などは、画像解析部35による画像データPCTの画像内容の解析によっても推定可能である。
撮像現場の周囲の音量、人の音声の音量、自然音の音量などは、騒がしさ、賑やかさ、静かさなどの雰囲気の要素となる。
音量はセンサ部12として音量センサを設けることで取得できる。また、音声解析部を設けて人の音声、自然音等を判別し、それらの音量測定を行うこともできる。
撮像装置1やカメラマンの移動速度、被写体の移動速度も撮像時の雰囲気の要素となる。例えば車上で撮像している場合や、動きの速い被写体を撮像している場合などを判別できる。
撮像装置1やカメラマンの移動速度の情報は、センサ部12に速度センサ、加速度センサ、角速度センサ等を設けることで取得できる。また被写体速度(撮像装置1との相対速度)は、画像解析部35による解析、例えば前後フレームでの動体画像の位置比較などによって推定算出可能である。
なお、手ぶれ量も、撮像装置1自体の動きの情報となり得る。ブレ検出部13によって得られる手ブレ量も環境情報CIに加えることも考えられる。
撮像時の気圧、水圧も撮像時の雰囲気の要素となる。
センサ部12に気圧センサ、水圧センサを設けることで、これらの値を取得できる。また、位置情報と地図情報から、現場の高度を算出し、気圧を推定することも可能である。
撮像時の被写体の方向(東西南北)も撮像画像についての撮像時の雰囲気の要素となる。
例えばセンサ部12に方位センサを設けることで、撮像方向の情報を取得することができる。
晴れ、日照量、曇り、雨、降雨量、雨上がり後経過時間、雪、霧、雷、みぞれ、雹など、竜巻、台風、スモッグ等の天気に関する情報も撮像時の雰囲気の要素となる。
例えばインターネット等を介して、撮像日時と場所の情報から現場の天候情報を取得することができる。また、雨、雪、みぞれ、霞などは、画像解析部35による解析によって判定可能である。
そして各情報は、センサ部12の検出、画像解析部35による画像内容からの判定、画像信号処理部41による輝度等の検出、ネットワークインターフェース29によるネットワークを介した取得、他の情報(位置情報等)を加味した判定などによって取得可能である。
次に、環境情報CIが対応付けられた画像データPCTを再生させる際の画像効果を与える具体的な処理例を述べる。例えば撮像装置1が表示パネル6やモニタ装置100において再生表示を行う場合の例として述べる。
この場合、CPU31は、ユーザの操作に応じて、記録媒体90やフラッシュROM33に記録された画像を再生する処理を行う。CPU31は、ユーザの操作に応じて、記録媒体90やフラッシュROM33に記録されている画像を読み出し、表示コントローラ7に指示して、表示パネル6でサムネイル画像や1枚の再生画像を表示させる制御を行う。このとき、単に画像データPCTが再生表示されるだけでなく、環境情報CIに応じた動的効果を与えた表示が行われるようにする。
動的な画像効果とは、再生時に撮像環境を髣髴させるための効果であって、静止画像の表示中に連続的な視覚的変化を生じさせる画像効果である。例えば画像効果の種類、画像効果の強度、画像効果の時系列的表現、及びそれらの組み合わせなどにより撮像時の環境を表現する。
また環境情報CIは、上記のように多様な内容が考えられるが、ここでは一例として、温度、湿度、光量、紫外線光量を含むものとして説明する。
図6(a)の例では、CPU31は、ステップF101で記憶された全画像の環境情報を読み出す。例えばその時点で記録媒体90に格納されている全ての画像データPCTに対応する全ての環境情報CIを読み出す。
そしてCPU31はステップF102で、各環境情報CIの項目毎に平均値を算出する。温度、湿度、光量、紫外線光量を環境情報CIの内容とする場合、温度、湿度、光量、紫外線光量の各項目について、それぞれ平均値(平均温度、平均湿度、平均光量、平均紫外線光量)を算出する。
ステップF103でCPU31は、算出した各平均値(平均温度、平均湿度、平均光量、平均紫外線光量)を、それぞれの項目についての基準値として設定する。
CPU31はステップF112で、読み出した各環境情報CIの項目毎に平均値(平均温度、平均湿度、平均光量、平均紫外線光量)を算出する。そしてステップF113でCPU31は、算出した各平均値(平均温度、平均湿度、平均光量、平均紫外線光量)を、それぞれの項目についての基準値として設定する。
つまり図6(a)との違いは、基準値設定のための平均値算出範囲を、今回のスライドショウ再生での再生対象のみに絞ったことである。
スライドショウ再生の指示操作に応じて、CPU31は処理をステップF201からF202に進める。そしてスライドショウ再生の準備処理を行う。例えばユーザの入力に応じてスライドショウ再生を行う範囲を決定する。また1枚の画像の再生時間や再生順序などを設定する。
また、上記基準値設定処理として図6(b)又は図6(c)の処理を行う場合は、この段階で基準値設定処理を行うことが考えられる。
さらに、最初に表示させる画像データPCT及び対応する環境情報CIを記録媒体90から読み出し、RAM32に取り込む。
なお、この図7の例では、順次再生させる前後の画像の環境情報の差分に応じて動的効果を与えるものとするため、最初の画像については通常に表示(特に画像効果を与えない表示)をさせるものとするが、最初の画像から動的効果を与える例も考えられる。
再生終了操作が検知されていなければ、CPU31はステップF205に進み、次の再生対象画像についての準備処理を行う。
ステップF203でスライドショウ再生が開始され、最初の画像データPCTについての再生表示が行われているときは、ステップF205で、2番目に再生表示する画像データPCTについての準備処理を行う。この場合、2番目に再生表示する画像データPCTを特定し、その画像データPCT及び環境情報CIを記録媒体90から読み出して例えばRAM32に取り込む。
効果算出処理の例は図8〜図11で後述する。
表示コントローラ7は、CPU31の指示に応じて、転送されてきた画像データPCTを表示パネル6で静止画表示させるとともに、視覚上、動的に画像が変化する動的画像効果を与えるようにする。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で動的画像効果が実行されるようにする。
以下、ステップF206の画像効果算出処理の例を詳しく説明する。
図8の例では、次の再生対象画像の環境情報CIと、前の再生対象画像(表示中の画像:以下「前画像」という)の環境情報CIの各項目の値を体感環境情報に変換し、その差分に基づいて画像効果を決定するものとしている。
例えば図8(b)のように、前画像について温度:25℃、湿度:10%、光量10000ルクス、紫外線光量100ルクスという各項目の値と、再生対象画像について温度:40℃、湿度:60%、光量10ルクス、紫外線光量0ルクスという各項目の値を取得する。
体感温度Mは、温度t、湿度hを用いて、
M=t−(1/2.3)×(t−10)×(0.8−(h/100))
で算出できる。
また体感光量Nは、光量α、紫外線光量βを用いて、
N=α+β×100
で算出できる。
このような算出式により、例えば図8(b)のように、前画像については体感温度:21℃、体感光量:20000ルクスと算出される。再生対象画像については体感温度:37℃、体感光量:10ルクスと算出される。
例えば図9(b)は、体感温度を環境変化体感量に変換し、さらに正規化されたポイント値ptとする関係を示し、図9(c)は、体感光量を環境変化体感量に変換し、さらに正規化されたポイント値ptとする関係を示している。
体感温度を環境変化体感量に変換することとは、人の温度変化に対する感覚を反映させる処理である。例えば20℃から10℃に10℃変化した場合、人は敏感に「寒くなった」という温度変化を感じるが、−10℃から−20℃に変化しても、同じ10℃変化でありながら、どちらも「とても寒い」という感覚であって、その温度変化を敏感に感じるものではない。明暗についても同様の感覚がある。
本実施の形態は、撮像時のユーザの感覚を動的画像効果に反映させることから、このような感じ方の差も反映させることが好適である。
そこで、図9(b)(c)のようなカーブを設定し、人の温度や明暗に対する感覚を環境変化体感量として反映させ、かつポイント値ptとして正規化する。
また前画像の体感光量:20000ルクスについては、図9(c)の変換により、90ptとされ、再生対象画像の体感光量:10ルクスは、同じく図9(c)の変換により10ptとされる。
体感温度差は、88pt−67pt=+21ptとなる。
体感光量差は、10pt−90pt=−80ptとなる。
この画像効果の決定には、例えば図10のような効果テンプレートを用いる。効果テンプレートは、予め設定され、例えばフラッシュROM33等に記憶されていることで、CPU31が逐次利用できるようにされている。
変化とは、体感温度や体感光量の変化が上昇であるか下落であるかで場合分けを行う条件設定となる。
基準値との関係は、体感温度や体感光量が変化した後に、基準値以上となっているか基準値未満であるかで場合分けを行う条件設定である。
実行する最低ポイントとは、変化の絶対値により、変化量が最低ポイント未満であれば画像効果を与えないとする条件設定である。この例では、体感温度について20pt、体感光量について30ptとしている。
効果の詳細は、効果種類で示される雰囲気を表現するための動的効果の内容(効果の種類や効果量、時系列的表現等)を示すものである。
効果の詳細として、序盤、中盤、終盤とは、スライドショウ再生での静止画表示時間を3つの期間に分けた例である。例えば上記のように1枚の再生表示時間が6秒であれば、2秒ごとの期間を序盤、中盤、終盤とする。
例えば「暑くなった」の効果の詳細は、序盤は効果なし、中盤で色温度を徐々に低下させるとともに明るさ(画像輝度)を徐々に増加させ、終盤は効果なしとする設定としている。
変化が上昇の場合は、上昇によって基準値以上となったか、或いは上昇しても基準値未満のままであるかで条件分けを行う。
変化が下落の場合は、下落によって基準値以上のままか、或いは下落して基準値未満となったかで条件分けを行う。
また実行する最低ポイントにより、例えば体感温度差が絶対値で例えば20pt以上であるときに画像効果を与えること等が決められる。
基準値との比較については、基準値に対して、再生対象画像についての環境情報CIの内容である温度(40℃)、もしくはステップF302で算出した体感温度(37℃)を比較する。
例えば基準値としての温度が23℃に設定されていたとすると、再生対象画像についての温度又は体感温度は、この場合、上昇後に基準値以上になったことになり、効果種類は「暑くなった」と決定される。従って動的画像効果の内容が効果の詳細に示すように具体的に決定される。
変化が上昇の場合は、上昇によって基準値以上となったか、或いは上昇しても基準値未満のままであるかで条件分けを行う。
変化が下落の場合は、下落によって基準値以上のままか、或いは下落して基準値未満となったかで条件分けを行う。
また実行する最低ポイントにより、例えば体感光量差が絶対値で例えば20pt以上であるときに画像効果を与えること等が決められる。
基準値との比較については、基準値に対して、再生対象画像についての環境情報CIの内容である光量(10ルクス)、もしくはステップF302で算出した体感光量(10ルクス)を比較する。
例えば基準値としての温度が1000ルクスに設定されていたとすると、再生対象画像についての光量又は体感光量は、この場合、下落後基準値未満となったことになり、効果種類は「暗くなった」と決定される。従って動的画像効果の内容が効果の詳細に示すように具体的に決定される。
次にステップF307でCPU31は、体感変化の大きい順に環境情報の優先順位付けを行う。この場合、体感温度と体感光量の優先順位を決めることになる。
図8(b)の例では、変化量としては体感温度は21pt、体感光量は80ptであるため、体感光量が第1優先、体感温度が第2優先と決定する。つまり「暗くなった」という効果を最優先とし、「暑くなった」という効果を2番目とする。
図11では、縦方向と横方向の各効果「暑くなった」「寒さが緩和された」「暑さが緩和された」「寒くなった」・・・「暗くなくなった」の関係を示している。
「×」は、例えば「暑くなった」と「寒くなった」など、第1優先、第2優先の各効果として起こりえないケースである。
「なし」は第1優先、第2優先の各効果が親和性がないケースである。親和性がないとは、具体的な画像効果として重複して反映させる必要がないケースといえる。例えば第1優先、第2優先の各効果が「寒さが緩和された」と「暗くなくなった」であるときは、第2優先の効果は考慮しないという場合である。
「1%」〜「99%」の数値は、親和性があり、その場合に優先度の低い効果の強度(効果量の低減量)を示している。例えば第1優先、第2優先の各効果が「寒くなった」と「暗くなった」であるときは、第2優先の効果「暗くなった」については、その効果量を図10の効果テンプレートの効果の詳細で規定される効果量の50%とするという意味である。
図8(b)の例でいえば、第1優先は「暗くなった」と、10%効果量とされた第2優先は「暑くなった」により、具体的な画像効果の種類や効果量を決定する。
例えば序盤は明るさを80pt×1%に減少させ、シャープネスを80pt×0.5%に減少させる。図10の効果テンプレートでは、序盤については「暑くなった」は効果無しであるため、「暗くなった」の序盤の効果のみが実行されるようにすることとなる。
中盤は、「暗くなった」は徐々に戻していくという効果が設定されているため、これをそのまま反映される。一方「暑くなった」については色温度を徐々に減少、明るさを徐々に増加という内容であるが、第2優先であるため効果量に「10%」を乗ずる。従って、。色温度は21pt×0.1%づつ徐々に減少させていく。明るさについては21pt×0.02%増加となる。但しこの0.02%の増加は、あまりに小さい効果量であるため、実行しないとする。
終盤は、「暗くなった」「暑くなった」のいづれも効果なしとされているため、効果無しとする。
CPU31は、この決定した画像効果をステップF208で表示コントローラ7に指示することになる。表示コントローラ7は、当該再生対象画像を表示パネル6に表示させる際に、表示パラメータ(明るさ、色温度、シャープネス、コントラスト等)を変化させることや画像合成処理を行うなどで、指示された画像効果を与えた表示制御を行うことになる。
また効果決定の処理では、環境情報CIの内容から体感環境情報を求め、体感環境情報に応じて効果の種類や効果量等を決めることとしたが、体感環境情報ではなく、環境情報CIの各項目の値(温度、光量等)をそのまま用いて効果決定を行ってもよい。
実際の画像効果の例を説明していく。
図12〜図15は、上記図8〜図11で画像効果が決定された場合の例である。
例えば図12は、スライドショウ再生の過程で、現在、画像データPCT1が表示されており、次の再生対象画像として画像データPCT2を表示する場合である。画像データPCT1、PCT2について、それぞれの環境情報を例示している。光量については、画像データPCT1が10000ルクス、画像データPCT2が10ルクスであったとする。
撮像時のユーザの状況としては、画像データPCT1は屋外の或る場所で撮像し、その後、洞窟などの暗いところに入ったときに画像データPCT2となる次の撮像を行ったような場合である。
この画像効果は、ユーザが撮像時に体感した雰囲気を再現するものである。即ちユーザは、それまで明るい屋外にいた後に洞窟に入ることで、非常に暗く感じる。このときにユーザが感じる暗さの感覚、即ち暗い所に移動した際、入る前は景色が見えていたが、入ると暗くて見えず、しばらくして徐々に瞳孔が慣れ、見えるようになる状況を、動的画像効果により表現する。
破線内に示すように、スライドショウ再生の切替タイミングで、画像データPCT1の表示から画像データPCT2(#1)の表示に切り替わる。その直後、画像データPCT2の表示は、輝度及びシャープネスが下げられ画面が暗くなる(#2)。これは人が暗所に入った際、はじめは暗くて周りが見えなくなる現象を、輝度を下げるという動的な効果で表すものである。また暗所ではものがはっきり見えないので、シャープネスも減少させる。
その後、明るさ及びシャープネスが徐々に戻されていく(#3)。少しづつ目がなじみ、徐々に周りが見えるようになってくる現象を動的な効果で表現している。最後に通常の表示に戻る(#4)。これは目がなじみ、周りが観察できるようになる現象を表現している。
破線部内の表示画像の変化は、まぶしい所に出た際、一瞬景色が見えた気がした後、まぶしさで見えなくなるが、徐々に瞳孔が慣れて見えるようになる状況と、明るいところでは輪郭がハッキリし、明るく鮮やかに見える状況の再現のための動的画像効果をかけた例である。
直後、全体輝度が非常に高くされる効果がかけられる(#2)。これは人が明るい所に出た際に、目が眩み、モノが見難くなる現象を、動的な効果で表している。
その後、目がなじみ、徐々に周りが見えるようになってくる現象を、輝度を徐々に戻すという動的な効果で表現する(#3)。そして最後にシャープネス、明るさ、彩度を適切な値とし、明るいところでは、ものがハッキリ、明るく、鮮やかに見える現象を表現する(#4)。
前画像となる画像データPCT10は、環境情報の「気温」が25℃で、この写真は25℃の環境下で撮られた写真だということが表されている。一方、次の再生対象画像として準備される画像データPCT11は、環境情報の「気温」が45℃で、この写真は45℃の環境下で撮られた写真だということが表されている。
この場合の図中破線部内の表示画像の変化は、暑いところに移動した際、視覚での状況認知後、皮膚にじわりと温度変化を感じる状況を再現する例である。
まず画像データPCT10から画像データPCT11の表示に切り替わる(#1)。
暑さを表現するためには例えば、色温度を低く、明るさを増加させ、シャープネスを減少させる。
暑い所に移動した際、温度によってはすぐ「暑い」と思う場合より、しばらくしてジワジワ暑く感じていくことが多い。そこで始めは色温度、明るさ、シャープネスの変化量を小さくする(#2)。その後、少しづつ感覚の認識が進み暑くなってくる現象の表現として、徐々に色温度を下げ、明るさを上げ、シャープネスを下げていく(#3)。そして最後に暑いところにいるという感覚がさらにハッキリつたわるように最も色温度等のパラメータの変化量が大きくなった状態となる(#4)。
前画像となる画像データPCT20は、環境情報の「気温」が25℃で、この写真は25℃の環境下で撮られた写真だということが表されている。一方、次の再生対象画像として準備される画像データPCT21は、環境情報の「気温」が3℃で、この写真は3℃の環境下で撮られた写真だということが表されている。
この場合の図中破線部内の表示画像の変化は、寒いところに移動した際、視覚での状況認知後、皮膚にじわりと温度変化を感じる状況を再現する例である。
まず画像データPCT20から画像データPCT21の表示に切り替わる(#1)。
寒さを表現するためには例えば、色温度を高く、明るさを減少させ、シャープネスを増加させる。
寒い所に移動した際、温度によってはすぐ「寒い」と思う場合より、しばらくしてジワジワ寒く感じていくことが多い。そこで始めは色温度、明るさ、シャープネスの変化量を小さくする(#2)。その後、少しづつ感覚の認識が進み寒くなってくる現象の表現として、徐々に色温度を上げ、明るさを下げ、シャープネスを上げていく(#3)。そして最後に寒いところにいるという感覚がさらにハッキリつたわるように最も色温度等のパラメータの変化量が大きくなった状態となる(#4)。
画像データPCTについて、表示パラメータによる画像効果としては、さらに、カラーバランス変化、画像特殊効果(ゆらぎ、うごき、変形等)、コントラスト変化、彩度変化、などを行うことが考えられる。またガンマ値変化、解像度変化、画像重複(透明の同じ画像をずらして重ねる)、ノイズ追加、色階調変化、光源強化(白い部分が広がっていく等)などを行うことも考えられる。
なお、これらの動的画像効果は、画像データ自体には変更を与えずに、表示画面上で視覚的な動的変化を与えるものである。
画像データ自体を変更せずに表示画像を変化させるという意味で、輝度、色温度、シャープネス等の表示パラメータを動的に変化させる例を述べたが、表示パラメータ変化以外に画像データ自体を変更しないで表示画像を変化させる手法も考えられる。例えば表示パネルのバックライトの輝度を動的に変更する場合もこれに相当する。
例えば前画像となる画像データPCT30は、環境情報の「天気」が曇りであり、次の再生対象画像として準備される画像データPCT31は、環境情報の「天気」が雨であったとする。
この場合の図中破線部内の表示画像の変化は、画像データPCT31の撮像時に雨が降ってきた状況を画像合成により再現する例である。
まず画像データPCT30から画像データPCT31の表示に切り替わる(#1)。
雨が降り始めたことを表現するために、画像データPCT31に雨滴の画像を合成するという手法を採る。即ち画像データPCT31の表示に切り替わった後、徐々に雨滴画像の合成量を増やしていくことで、表示上で徐々に雨滴が多くなるようにする(#1→#2→#3→#4)。
このような動的画像効果により、撮像時の状況を表現できる。
前画像となる画像データPCT40は、環境情報の「日付」が2008年5月2日であり、次の再生対象画像として準備される画像データPCT41は、環境情報の「日付」が2008年5月3日であったとする。
この場合の図中破線部内には、スライドショウ再生で画像データPCT40→PCT41→PCT42→PCT43が順次再生されていく場合を示しているが、日付が変わるタイミング、即ち画像データPCT41の表示のタイミングで、日付を合成する。
このような画像効果により、スライドショウ再生中に一連の再生画像の途中で日付が変わったこと、つまりユーザにとっては、画像データPCT41からが次の日の撮像によるものであることを提示し、撮像時の感覚を思い起こさせるものとなる。
この図18は、撮像した画像データ自体に画像効果をかけるのではなく、スライドショウ再生の過程において挿入画像を表示させる例である。
例えば例1としての破線部内に示すように、画像データPCT40からPCT41に切り替わる際に、挿入画像として、画像データPCT41の日付「2008年5月3日」を示した画像を挿入する。
また例2のように、画像データPCT40からPCT41に切り替わる際に、画像データPCT40の日付を示した挿入画像#1と、画像データPCT41の日付を示した挿入画像#2が順次切り替えて表示され、その後画像データPCT41を表示する。
このような画像効果によっても、スライドショウ再生中に一連の再生画像の途中で日付が変わったことをユーザに提示でき、撮像時の感覚を思い起こさせる。
画像データPCT40,PCT41の環境情報としては上記図17,図18と同様に日付を用いる。
図中破線部内に示すように、画像データPCT40からPCT41に切り替わる際に、画像データPCT40をフェードアウトさせる(#1→#2→#3)。
またフェードアウト後、画像データPCT41に切り替えるが、このとき、日付表示を合成する。
このようなフェードアウトとしての動的画像効果により、この写真(PCT40)で一日が終わり、次の写真(PCT41)から次の日の撮像による写真であることをユーザに認識させ、撮像当時の雰囲気を思い起こさせることができる。
この前後の画像の位置情報が「成田空港」「ハワイ」で異なる場合に、画像データPCT51の再生時には「成田空港」という文字画像を合成する。そして画像データPCT52に切り替えた後は、画像データPCT52に「ハワイ到着」という文字画像を合成する。これによってユーザに撮像場所の変化を提示でき、旅行時の感覚を思い起こさせる。
図20(b)は、画像データPCT51、PCT52の表示の際に、位置情報が異なることに応じて挿入画像を表示させる例である。
この場合、挿入画像として地球の画像を表示し、当該地球画像上で赤丸Rなどのポインタを成田からハワイへ移動させるようにする。このような表示によって、ハワイへの移動を実感させることができる。
例えば風量、風速などの環境条件に応じて、画面を揺らす、木の葉が飛んでいる画像を加えるなどが考えられる。
また位置が「水上」であるときは、水しぶきの画像がランダムに加わるといった効果が考えられる。
また未明、朝、昼、夕方、夜などの時間帯の進行に伴って、基本的な表示画像のトーン(輝度や色温度など)を変化させるといった効果も考えられる。
また歓声やざわめきなどの音量によって、擬音文字の画像を加えるといった画像効果も考えられる。
続いてスライドショウ選択再生の動作について説明する。
上述したスライドショウ再生では、ユーザのフォルダ指定などに応じて、再生対象の画像データが順次再生されるものとしたが、スライドショウ選択再生とは、再生対象とする画像データPCTの選択に条件設定を行うものである。そしてそのようなスライドショウ選択再生の過程で撮像時の雰囲気を彷彿させる画像効果を与える。
また画像効果の決定には上述した例と同様に効果テンプレートを用いることとするが、ここでは前後の画像データの環境情報を考慮して効果テンプレートの内容の設定変更を行う処理も加える例とする。
まずステップF401としてスライドショウ実行設定処理を行う。このスライドショウ実行設定処理を図22(a)に示す。
CPU31は図22(a)のステップF451として、表示コントローラ7に指示し、表示パネル6(又はモニタ装置100)にスライドショウ実行設定画面を表示させる。
スライドショウ実行設定画面とは、ユーザがスライドショウ再生の対象とする画像の選択条件を設定する画面であり、例えば図25(a)のような画面とする。ここでは「再生対象」「再生画像の特徴」「再生する画像の品質基準」としての各項目の内容をプルダウンメニューで選択できるものとしている。またスライドショウ開始ボタン、キャンセルボタン等が表示される。
スライドショウ実行設定画面に対する内容の例を図25(b)に示す。
例えば「再生対象」の項目に関しては、オプションとして「すべて」「同じフォルダ」「同じ日付」をユーザが選択できるようにする。
「すべて」は、全ての画像データPCTを再生対象とする設定である。
「同じフォルダ」は、現在の表示写真と同じフォルダ内の写真(画像データPCT)を再生グループとする設定である。
「同じ日付」は、現在の表示写真と同じ日付の写真(画像データPCT)を再生グループとする設定である。
「すべて」は画像内容の特徴では制限しない設定である。
「赤ちゃん」は赤ちゃんが写っている写真のみを再生する設定である。
「人物」は人物が写っている写真のみを再生する設定である。
もちろんこれ以外にも、「風景のみ」「風景を主とする写真」「自然物を主とする写真」「人工物を主とする写真」などの設定例も考えられる。
「手ブレしていない」は、手ブレ量が一定以上の写真は再生しない設定である。
「すべて」は画像の品質では制限しない設定である。
「構図が適切」は構図が悪いもの、例えば顔の一部がフレームの隅で切れているものなどを再生しない設定である。
「おまかせ」は所定の条件で自動判定を行う設定である。
これら以外にも「ピンぼけしていない」「逆光でない」などの設定例も考えられる。
CPU31は、ステップF452で入力を受け付け、ユーザがスライドショウ開始の入力を行ったら、設定入力が決定されたとしてステップF453からF454に進み、CPU31は、再生画像選択パラメータを決定する。即ち「再生対象」「再生画像の特徴」「再生する画像の品質基準」の各項目についてユーザ入力の設定条件を確定させる。
そしてステップF455で「再生対象」の項目の設定条件から、再生対象画像群を決定する。例えば「同じフォルダ」が選ばれた場合は、現在の表示画像と同じフォルダに含まれる全画像データPCTを再生対象画像群とする。
また図6(c)の処理を行う場合も、このスライドショウ実行設定のタイミングで基準値設定処理を行うことが考えられる。
この再生対象画像準備処理を図22に(b)に示す。
CPU31はステップF461で、先にスライドショウ実行設定(図22(a)のステップF455)で決定した再生対象画像群の中から、最初の画像データを取得する。即ち最初に表示させる画像データPCT及び対応する環境情報CIを記録媒体90から読み出し、RAM32に取り込む。
そして取得した画像データPCTについて、「再生画像の特徴」及び「再生する画像の品質基準」の各項目について、条件を満たしているか否かを判断する。
この場合、各項目の設定が「すべて」でなければ、当該画像データPCTを画像解析部35に転送し、画像解析処理結果により条件を満たしているか否かを判断することになる。
「再生画像の特徴」が「赤ちゃん」又は「人物」であれば、画像に赤ちゃん又は人物が含まれているかを画像解析により判定する。
「再生する画像の品質基準」については「手ブレ」「構図」等を画像解析で判定することになる。なお「手ブレ」については、ブレ検出部13で得られた撮像時の手ブレ量が環境情報CI、或いは画像に加えられていれば、その値を参照すればよい。
一方、「再生画像の特徴」又は「再生する画像の品質基準」のいづれか一方の設定条件を満たしていなければ、ステップF461に戻り、再生対象画像群の中から次の画像データPCTを選択し、記録媒体90から取り込むことになる。そしてその画像データPCTについて同様の判断を行う。
即ち図22(b)のステップF465で最初に再生する「対象画像」とされた画像データPCTを表示コントローラ7に転送し、表示コントローラ7に表示パネル6での表示を実行させる。
なお、ステップF403で再生終了となる場合とは、ステップF402(図22(b))で再生対象画像群に含まれる全ての画像データPCTが「再生画像の特徴」又は「再生する画像の品質基準」の設定条件を満たさなかった場合である。つまりユーザの望む条件の画像データが存在しないとしてスライドショウ選択再生を終了する。
このステップF405の処理も、ステップF402と同様、図22(b)の処理として行われる。これにより、ユーザの望む条件を満たした次の再生画像が決定される。
再生終了操作が検知されていなければ、CPU31はステップF407に進み、次の再生対象画像についての画像効果の算出処理を行う。
まずステップF471でCPU31は、前画像及び再生対象画像の環境情報CIを取得する。例えば図21のステップF405(又はF402)で記録媒体90からRAM32に取り込んだ前画像及び再生対象画像の環境情報CIを取得する。
その後、ステップF474〜F481で画像効果の種類、効果量、時系列表現を決定するが、この処理は先に述べた図8(a)のステップF302〜F309と同様としており、重複説明を避ける。
このステップF474〜F481では、体感光量と体感温度に応じて画像効果を決定する例としているが、本例の場合、明るさ変化と温度変化を考慮した画像効果決定であることにより、後述する効果テンプレートの設定変更によっては画像効果をかけないとする場合も生ずる。そのため、画像効果オフとされた場合はステップF473から図23の処理(図21のステップF407)を終える。
切替タイミングとなったら、ステップF409に進み、次の再生対象画像を表示コントローラ7に転送し、表示コントローラ7に表示パネル6での表示を実行させる。このとき、ステップF407で決定した効果の種類、効果量、効果のかけ方を指示し、表示の際に動的画像効果を実行させる。
表示コントローラ7は、CPU31の指示に応じて、転送されてきた画像データPCTを表示パネル6で静止画表示させるとともに、視覚上、動的に画像が変化する動的画像効果を与えるようにする。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で動的画像効果が実行されるようにする。
なお、スライドショウ再生がリピートして行われる場合は、全画像を再生完了したら、次に最初の画像データPCTの再生を行うため、最後の画像表示を行っている場合でも、ステップF410からF405に戻ることになる。
図26は設定変更の条件として、前画像と再生対象画像の環境情報CIの内容に鑑みて、雰囲気再現として適切な画像効果をかけるために考慮すべきケースを示している。
一例として、「フォルダをまたぐ場合」「12時間以上撮像間隔が開いた場合」「7日以上撮像間隔が開いた場合」「室内/屋外の変化があった場合」「水中/水上の変化があった場合」を示している。
また、環境情報CIの項目については説明の簡単のため明るさと温度のみを例示している。
通常、ユーザは撮像画像をフォルダに分けて整理する。例えば旅行や運動会などのイベント毎などに分ける場合が多い。すると、スライドショウで続けて再生される前後の画像であってもフォルダを跨いでいる場合、あまり関連性の無い画像であることが多い。そのため、フォルダをまたぐ場合は、画像効果をかけないほうが良い場合が考えられる。そこで、このような場合、前後の環境情報CIにおいて明るさ変化、温度変化等を反映しないとする。
「7日以上撮像間隔が開いた場合」は、前後の写真の関係性はさらに薄く、ユーザの感じる雰囲気の変化としては殆ど関連がないと考えられる。そこでこのケースでは前後画像の環境情報CIの内容において明るさ変化、温度変化を反映しないこととする。
前後の画像で「水中/水上の変化があった場合」は、明るさ変化、温度変化は著しく、また水中の画像と水上の画像は画像自体が全く異なるため、雰囲気再現の画像効果をあえてかけないとする場合も考えられる。そこで、このケースでは前後画像の明るさ変化、温度変化を反映しないこととしてもよい。
CPU31は図23のステップF472で、これらのようなケースに応じて効果テンプレートの設定変更を行う。例えば図24の処理を行う。
図24の例は、図26の「フォルダをまたぐ場合」「12時間以上撮像間隔が開いた場合」「7日以上撮像間隔が開いた場合」の3つのケースを考慮する例である。
ステップF494で効果オフとされた場合、図23の処理は画像効果決定を行わずにステップF473から処理を終えることになる。
但し、画像効果決定に温度や明るさ以外の他の要素、例えば場所、日時、風量、天気などを反映させる場合は、ステップF494では、画像効果オフの設定ではなく、温度と明るさに関してのみ反映しないとする設定とすればよい。つまり温度や明るさ以外の環境情報に応じた画像効果が行われるようにもできる。
一方、撮像間隔が7日未満であれば、ステップF493で撮像間隔が12時間以上であるか否かで処理を分岐する。
12時間未満であれば、特に効果テンプレートの設定変更を行わずに図24の処理を終える。
一方、撮像間隔が12時間以上であれば、ステップF495に進み、明るさ変化、温度変化のそれぞれについて、効果テンプレートの「実行する最低pt」を10ポイント増加するように設定変更を行う。そして図24の処理を終える。
また再生対象画像が、前画像と同じフォルダの画像であって、撮像間隔が12時間以上7日未満であれば、効果テンプレートの設定(「実行する最低pt」)が変更された上で、図23のステップF474〜F481で、当該変更された効果テンプレートの設定に基づいて画像効果決定が行われる。
また再生対象画像が、前画像と異なるフォルダの画像である場合、又は撮像間隔が7日以上であるときは、画像効果オフと設定され、図23のステップF474〜F481の画像効果決定は行われない。つまり再生対象画像の表示の際に画像効果はかけられない。
図24の処理において、図26に示した屋内/屋外のケースや、水中/水上のケースも効果テンプレートの設定変更条件に加えることも当然考えられるし、他の変更条件もあり得る。
設定変更に反映すべきケースをユーザが選択できるようにしても良い。
また効果テンプレートの設定変更の内容としては、「実行する最低pt」の増減だけでなく、基準値の増減、効果の詳細における係数の増減などを行っても良い。
図27に例を示す。画像内容として「顔主体」「人物主体」「集合写真」「風景主体」「手ブレしている」「構図が不適切」等のケースを設定する。
これらの画像内容に該当するか否かは、図21のステップF405(図22(b))で行う画像解析において同時に判別するようにすればよい。
再生対象画像が「人物主体」の場合は、明るさ変化、温度変化に関して、「実行する最低pt」を5ポイント増加させる。
再生対象画像が「集合写真」の場合は、明るさ変化、温度変化を反映しないものとする。
再生対象画像が「風景主体」の場合は通常の効果テンプレートの設定、つまり設定変更無しとする。
再生対象画像が「手ブレしている」の場合は、明るさ変化、温度変化を反映しないものとする。
再生対象画像が「構図が不適切」の場合は、明るさ変化、温度変化を反映しないものとする。
もちろんこれらのケースや設定変更内容は一例であり、実際には撮像時の雰囲気再現のための画像効果が適切に実行されるように決められればよい。
例えばケースとしては他にも、「特定の人の写った写真」「特定以上の人数が写った写真」「特定のシーンの写真」「特定の場所付近で撮絵した写真」「フォーカスがあっていない」などが考えられる。
このため、連写画像については、環境情報や画像内容、品質等を考慮して、再生させる少数の画像を抽出するような処理も考えられる。
また前後の画像の関係や再生対象画像の画像内容等に応じて効果テンプレートの設定変更を行うことで、撮像時の雰囲気再現としてより適切な画像効果を実行できる。
なお、効果テンプレートの設定変更に関しては、スライドショウ再生における処理だけでなく、通常のユーザの画面送り操作に応じてフォルダ内の各画像データを順次再生するような場合にも同様に適用できる。
上記のスライドショウ再生、スライドショウ選択再生の例では、画像効果の決定を、再生対象画像と前画像の環境情報CIの比較に基づいて決定した。これによって撮像時の雰囲気の変化を適切に表現できるが、1枚の写真だけを考慮して雰囲気を再現することも可能である。
即ち前画像の環境情報CIは考慮せず、再生対象画像の環境情報CIのみから画像効果を決定する処理例である。
或る画像データの再生を実行する場合、CPU31は処理をステップF501からF502に進める。例えばサムネイル一覧表示された中からユーザが或る画像を指定して表示を指示したような場合である。またスライドショウ再生における次の画像についての再生処理と考えても良い。
これは図6で説明した基準値と同じ情報と考えればよい。従って、図6(a)のように全画像データの平均値としての温度、明るさなどの各情報としてもよいし、現在のフォルダの平均値としてもよい。または図6(c)と同様の処理で、現在の温度、光量等の情報として取得しても良い。
さらには固定値とされていても良い。例えば出荷先(日本、北米、南米、欧州、東南アジア等)に応じた平均の気温などの情報が用いられても良い。
また、再生時の日時や場所に応じた基準環境情報をネットワークを介して所定のサーバから取得できるようにしたり、ユーザが基準環境情報を入力して任意に設定できるようにすることも考えられる。
そしてステップF505で、比較結果に応じて画像効果の種別や効果量、時系列表現等を決定する。例えば上述した効果テンプレートを用いた決定を行うことができる。
表示コントローラ7は、CPU31の指示に応じて、転送されてきた画像データPCTを表示パネル6で静止画表示させるとともに、指示された画像効果を与えるように表示制御処理を行う。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で画像効果が実行されるようにする。
この場合も、画像データの再生表示を見ている人が、撮像時の雰囲気の変化を感じることができ、写真が本来持つ効果をより有効化できるとともに、写真画像再生における新たな楽しみを創出できる。
本発明は上述してきた例以外にも多様な変形例や適用例が想定される。以下各種の変形例、適用例を挙げていく。
例えば、すこし高温なら、すこし赤みのかかったものに変化していき、非常に高温なら、非常に赤みのかかったものに変化していくというような効果強度の設定により、雰囲気をより的確に再現できる。
効果決定に使用する環境情報の項目(位置、日時、風量、気圧、天候等)などによっても、その環境情報の値や組合せによって画像効果の強度を決定することが適切である。
多数の環境情報項目を考慮する場合は、上述のように優先順位を設定することが適切であるが、優先順位は固定としてもよいし、優劣を付けずに全て同等に画像効果に反映させるという手法もとり得る。
例えば前後の画像の撮像日時が近接していながら温度変化が大きい場合は、画像効果量の変化速度を速くし、一方温度変化は大きいが撮像間隔が長い場合は画像効果量をゆっくり変化させるなどである。
また、画像効果を動的に変化させる期間は、静止画像の表示期間のうちの少なくとも一部の期間である。
例えば上述したスライドショウ再生の場合等で、1枚の写真画像の表示開始から終了までの期間が決まっている場合、その全表示期間にわたって動的に変化する画像効果を与えても良い。或いは、1枚の写真画像の全表示期間のうちで、一部の期間のみに動的に変化する画像効果を与えても良い。もちろん固定的な画像効果も考えられる。
さらには、1枚の写真画像の全表示期間を複数の一部期間毎にわけ、当該一部期間毎に、同一又は異なる画像効果を与えても良い。
またユーザの選択操作に応じた通常の画像データ再生などで、1枚の写真画像の表示期間が不定の場合に、例えば表示開始から数秒などの間、画像効果を与え、その後画像効果は与えないようにすることが考えられるが、繰り返し画像効果を与えることも考えられる。もちろん数秒のインターバルをおいて繰り返し同一の画像効果を与えたり、或いは異なる画像効果を与えることも想定される。
上記例では前画像と再生対象画像の比較で画像効果の決定を行ったが、再生対象画像と次の再生対象画像との環境情報を用いて画像効果決定を行ってもよい。
例えば或る写真が、或る場所の風景であり、次の写真が、上記風景内に含まれる或る建物に近づいて撮像したようなものであった場合を想定する。この場合、両画像データの位置情報や撮像方向の情報に基づいて、現在の再生対象画像の表示中に、該当の建物にズームインする表示を行った後、次の再生対象画像に切り替えるような動的画像効果が考えられる。例えば現在の再生対象画像の画像データの該当の建物の部分が徐々に拡大していくような動的画像効果である。
例えば上記のスライドショウ選択再生の場合には、条件によって再生対象が間引きされるため、直前の再生画像とは、必ずしも撮像時の順序としては直前ではない。そこで、スライドショウ選択再生では再生されないこととなった画像データを含めて、直前の画像データ(つまり撮像時に直前に撮像された画像データ)を前画像として扱うことが考えられる。そして当該前画像の環境情報CIを参照して、再生対象画像の画像効果決定を行う。
もちろん再生されない画像を含めて、複数の画像データの環境情報CIを参照してもよい。
また前画像と後画像の両方の環境情報CIを考慮して画像効果決定を行っても良い。
さらに、ユーザが基本となる画像データを選択し、その画像データの環境情報CIを比較対象として考慮して画像効果決定を行っても良い。
また、画像効果決定のために、表示する画像データの撮像日時と、記録媒体90等に保存されている他の画像データの撮像日時との間隔を考慮することも考えられる。
また考慮すべき環境情報の項目をユーザが選択できるようにしたり、複数項目の場合の優先順位を指定できるようにしてもよい。
また画像効果決定で考慮する環境情報を選ぶために、記録媒体90等にある全てもしくは、一定のまとまりの撮像画像の環境情報の平均や分散で決めることもできる。
またスライドショウの場合に、実行される画像効果の種類等に応じて、1枚の再生時間を変化させるようにしてもよい。
また、単に暑い、寒いといっても、暑さの度合いによって人が感じる感覚はかわるので、画像効果もユーザに合わせて切り替えることもできる。
変化が顕著な環境条件が複数ある場合は、一つに絞ることも、画像効果を組み合わせることも、組み合わせのための別の効果を用意することもできる。
例えばグルーピングが撮像時の順序に応じたフォルダ単位のものや、グルーピングが日付単位のもの、グルーピングが日付や時間の間隔等を考慮したイベント単位のもの、グルーピングが少なくとも撮影位置と日付を考慮したものなどが想定される。
またユーザがグルーピングの方式を選ぶことができる機能をもったものも考えられる。
また再生時の処理として、グループの先頭画像の場合は、前の画像の環境情報は考慮しない、もしくは、通常と違う考慮をする機能をもつようにすることが考えられる。
また再生画像群がグループに分かれている場合、グループの最終画像の場合は、後の画像の環境情報は考慮しない、もしくは、通常と違う考慮をする機能をもつようにすることも考えられる。
また再生画像群がグループに分かれている場合、グループの切れ目を考慮するか否かをユーザが選ぶことのできる機能をもつことも考えられる。
例えば表示パネル6などの表示部がバックライト方式の液晶パネルとされている場合、バックライト光源の輝度を変化させることで、画面上の明るさ変化を表現することもできる。
以上の実施の形態は、撮像装置1で画像効果を伴う再生を行うものとして述べたが、同様の再生処理は、図1で説明したようにパーソナルコンピュータ102等の他の装置で行うこともできる。
図29はパーソナルコンピュータ(以下「PC」)102の構成を示している。
PC102は図示するように、CPU211、メモリ部212、ネットワークインターフェース部213、ディスプレイコントローラ214、入力機器インターフェース部215、HDDインターフェース部216を有する。またキーボード217、マウス218、HDD219、表示装置220、バス221、外部機器インターフェース部222、メモリカードインターフェース部223などを有する。
バス221上の各機器にはそれぞれ固有のメモリアドレス又はI/Oアドレスが付与されており、CPU211はこれらアドレスによって機器アクセスが可能となっている。バス221の一例はPCI(Peripheral Component Interconnect)バスである。
このメモリ部212には、CPU211において実行されるプログラムコードやPC102に固有の識別情報その他の情報を格納したり、通信データのバッファ領域や実行中の作業データのワーク領域に用いられる。
即ちPC102に対するユーザの操作入力がキーボード217及びマウス218を用いて行われ、その操作入力情報が、入力機器インターフェース部215を介してCPU211に供給される。
HDD219は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。PC102にインストールされた各種のソフトウェアプログラムは、実行可能な状態でHDD219に格納される。通常、HDD219には、CPU211が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
HDD219に格納されている各種プログラムは、PC102の起動時やユーザ層に応じたアプリケーションプログラムの起動時などに、メモリ部212に展開される。CPU211はメモリ部212に展開されたプログラムに基づいた処理を行う。
本例の場合、外部機器としては、例えば撮像装置1等が想定される。
PC102は、この外部機器インターフェース部222を介した通信により、撮像装置1からの画像データの取込などが可能となる。
例えば上記撮像装置1の外部インターフェース8とPC102の外部インターフェース部222の間を接続し、撮像装置1で撮像された画像データPCT及び環境情報CIを取り込むことができる。
なお、外部機器インターフェース部222は、USB規格に限らず、例えばIEEE1394など、他のインターフェース規格であってもよい。
例えば上述した撮像装置1のようなデジタルスチルカメラで用いられた記録媒体90を装着することで、その記録媒体90から画像データPCT及び環境情報CIを読み込むこともできる。
この場合、例えば図2の画像格納部200として、HDD219や記録媒体90が機能し、図2の制御部201(及び画像解析部206)としてCPU211が機能し、図2の画像処理/表示制御部202としてディスプレイコントローラ214が機能する。
そして図6、図7,図8の処理、又は図21〜図24の処理、又は図28の処理を行うプログラムが、例えばHDD219にインストールされ、起動時にメモリ部212に展開される。CPU211はメモリ部212に展開されたプログラムに基づいて必要な演算処理や制御処理を実行する。
これにより、図6、図7,図8、又は図21〜図24のようなスライドショウの実行処理、もしくは図28の処理が、CPU211において実行される。
これによって上述してきたような各種画像効果を伴った再生動作が、PC102において実現される。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:登録商標)、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
Claims (16)
- 再生表示を行う画像データの複数種類の環境情報と、比較対象となる複数種類の環境情報との比較によって得られる複数の環境情報差分に基づいて環境情報の優先順位を決定し、最優先の環境情報とその他の環境情報との親和性及び画像効果の強度を確認し、実行すべき画像効果の種類及び該画像効果の強度を決定することにより画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定部と、
画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御部と、
を備えた画像処理装置。 - 上記動的画像効果とは、静止画像の表示期間のうちの少なくとも一部期間に連続的な視覚的変化を生じさせる画像効果である請求項1に記載の画像処理装置。
- 上記表示制御部は、静止画像の表示中に表示パラメータを変化させることで、表示画面上で上記動的画像効果が実行されるようにする請求項2に記載の画像処理装置。
- 上記表示制御部は、静止画像の表示中に、該静止画像に対する画像合成処理を行うことで、表示画面上で上記動的画像効果が実行されるようにする請求項2に記載の画像処理装置。
- 上記比較対象となる環境情報は、再生表示を行う画像データの前の時点で再生対象とされた画像データについての環境情報である請求項1に記載の画像処理装置。
- 複数の画像データを順次再生表示させる場合において、上記比較対象となる環境情報は、再生表示を行う画像データの直前に再生対象とされた画像データについての環境情報である請求項1に記載の画像処理装置。
- 選択パラメータに応じて、順次再生表示させる複数の画像データを選択する順次再生制御部をさらに備えた請求項6に記載の画像処理装置。
- 上記比較対象となる環境情報は、時間情報が再生表示を行う画像データに最も近い前の時点の画像データについての環境情報である請求項1に記載の画像処理装置。
- 上記比較対象となる環境情報は、固定的な値として設定された環境情報である請求項1に記載の画像処理装置。
- 上記画像効果決定部は、再生表示を行う画像データの環境情報を、体感環境情報に変換し、該体感環境情報を用いて、上記画像データについての動的画像効果を決定する請求項1に記載の画像処理装置。
- 上記画像効果決定部は、再生表示を行う画像データの環境情報と、比較対象となる環境情報とを、それぞれ体感環境情報に変換し、体感環境情報の比較によって得られる体感環境情報差分に基づいて、再生表示を行う画像データについての動的画像効果を決定する請求項10に記載の画像処理装置。
- 上記画像効果決定部は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、動的画像効果の実行/不実行、又は実行/不実行の判定基準を決定する請求項1に記載の画像処理装置。
- 上記画像効果決定部は、画像データの画像内容に基づいて、動的画像効果の実行/不実行、又は実行/不実行の判定基準を決定する請求項1に記載の画像処理装置。
- 上記環境情報には、画像データ撮像時の周囲の温度情報、画像データ撮像時の外光光量情報、画像データ撮像時の時間情報、画像データ撮像場所情報のうちの少なくとも1つが含まれる請求項1に記載の画像処理装置。
- 再生表示を行う画像データの複数種類の環境情報と、比較対象となる複数種類の環境情報との比較によって得られる複数の環境情報差分に基づいて環境情報の優先順位を決定し、最優先の環境情報とその他の環境情報との親和性及び画像効果の強度を確認し、実行すべき画像効果の種類及び該画像効果の強度を決定することにより画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定ステップと、
画像データの表示に伴って、上記画像効果決定ステップで決定された動的画像効果が実行されるように表示動作を制御する表示制御ステップと、
を行う画像処理方法。 - 再生表示を行う画像データの複数種類の環境情報と、比較対象となる複数種類の環境情報との比較によって得られる複数の環境情報差分に基づいて環境情報の優先順位を決定し、最優先の環境情報とその他の環境情報との親和性及び画像効果の強度を確認し、実行すべき画像効果の種類及び該画像効果の強度を決定することにより画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定ステップと、
画像データの表示に伴って、上記画像効果決定ステップで決定された動的画像効果が実行されるように表示動作を制御する表示制御ステップと、
を情報処理装置に実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009111708A JP5493455B2 (ja) | 2009-05-01 | 2009-05-01 | 画像処理装置、画像処理方法、プログラム |
US12/799,306 US8334921B2 (en) | 2009-05-01 | 2010-04-22 | Image processing apparatus, image processing method, and program |
CN2010101675241A CN101877753B (zh) | 2009-05-01 | 2010-04-26 | 图像处理设备、图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009111708A JP5493455B2 (ja) | 2009-05-01 | 2009-05-01 | 画像処理装置、画像処理方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010263340A JP2010263340A (ja) | 2010-11-18 |
JP2010263340A5 JP2010263340A5 (ja) | 2012-05-10 |
JP5493455B2 true JP5493455B2 (ja) | 2014-05-14 |
Family
ID=43020208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009111708A Expired - Fee Related JP5493455B2 (ja) | 2009-05-01 | 2009-05-01 | 画像処理装置、画像処理方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8334921B2 (ja) |
JP (1) | JP5493455B2 (ja) |
CN (1) | CN101877753B (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5493456B2 (ja) * | 2009-05-01 | 2014-05-14 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
CN105007419B (zh) * | 2010-03-09 | 2018-05-08 | 松下电器产业株式会社 | 重叠于光的信息的检测装置以及检测系统 |
US8856656B2 (en) * | 2010-03-17 | 2014-10-07 | Cyberlink Corp. | Systems and methods for customizing photo presentations |
US20110282967A1 (en) * | 2010-04-05 | 2011-11-17 | Electronics And Telecommunications Research Institute | System and method for providing multimedia service in a communication system |
JP2012203668A (ja) * | 2011-03-25 | 2012-10-22 | Sony Corp | 情報処理装置、物体認識方法、プログラム及び端末装置 |
CA2771851C (en) | 2011-04-12 | 2018-07-24 | Research In Motion Limited | Camera flash for improved color balance |
US9813632B2 (en) * | 2011-05-19 | 2017-11-07 | Foveon, Inc. | Method of adjusting digital camera image processing parameters |
US8797415B2 (en) * | 2011-09-26 | 2014-08-05 | Google Inc. | Device, system and method for image capture device using weather information |
CN109522280B (zh) * | 2012-09-16 | 2022-04-19 | 哈尔滨华强电力自动化工程有限公司 | 一种图像文件格式及生成方法及装置及应用 |
CN103716536B (zh) * | 2013-12-17 | 2017-06-16 | 东软熙康健康科技有限公司 | 生成动态图片的方法及系统 |
CN103929594A (zh) * | 2014-04-28 | 2014-07-16 | 深圳市中兴移动通信有限公司 | 一种移动终端及其拍摄方法和装置 |
JP2016039513A (ja) * | 2014-08-08 | 2016-03-22 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
WO2017159003A1 (ja) * | 2016-03-17 | 2017-09-21 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
CN107506354A (zh) * | 2016-06-14 | 2017-12-22 | 深圳市蓝魔数码科技有限公司 | 一种智能天气实时转换显示的方法及装置 |
US10880742B2 (en) * | 2016-12-15 | 2020-12-29 | Fotonation Limited | Iris recognition workflow |
JP2019154744A (ja) * | 2018-03-13 | 2019-09-19 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、医用画像診断装置、及び医用画像処理プログラム |
CN109886900B (zh) * | 2019-03-15 | 2023-04-28 | 西北大学 | 一种基于字典训练和稀疏表示的合成雨图除雨方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69326364T2 (de) | 1992-02-04 | 2000-02-24 | Ricoh Co., Ltd. | Informationsverarbeitungsapparat und -verfahren unter Verwendung eines zusätzlichen zweckmässigen Informationspakets |
JPH05303596A (ja) | 1992-02-04 | 1993-11-16 | Ricoh Co Ltd | ファイル情報作成方式及び電子ファイル装置 |
JP3371605B2 (ja) | 1995-04-19 | 2003-01-27 | 日産自動車株式会社 | 大気効果表示機能付き鳥瞰図表示ナビゲーションシステム |
JPH09138767A (ja) | 1995-11-14 | 1997-05-27 | Fujitsu Ten Ltd | 感情表現の通信装置 |
JP3738310B2 (ja) * | 1997-08-04 | 2006-01-25 | カシオ計算機株式会社 | カメラ |
GB2378342A (en) * | 2001-07-31 | 2003-02-05 | Hewlett Packard Co | Selecting images based upon the similarity between images |
JP2003169225A (ja) | 2001-12-03 | 2003-06-13 | Olympus Optical Co Ltd | 画像処理装置、及びプログラム |
JP3832825B2 (ja) * | 2002-09-25 | 2006-10-11 | 富士写真フイルム株式会社 | 撮影システム、画像表示装置、及び画像表示プログラム |
JP2004140812A (ja) * | 2002-09-26 | 2004-05-13 | Oki Electric Ind Co Ltd | 体験記録情報処理方法とその通信システム及び情報記録媒体並びにプログラム |
JP2004134950A (ja) | 2002-10-09 | 2004-04-30 | Sony Corp | 画像合成方法および画像合成装置 |
JP2005012674A (ja) * | 2003-06-20 | 2005-01-13 | Canon Inc | 画像表示方法及びそれを実行するプログラム並びに画像表示装置 |
JP3931889B2 (ja) * | 2003-08-19 | 2007-06-20 | ソニー株式会社 | 画像表示システム、画像表示装置、画像表示方法 |
JP2005250977A (ja) | 2004-03-05 | 2005-09-15 | Nikon Corp | 撮影装置、画像再生装置、画像鑑賞室、データ蓄積/解析装置、銀塩カメラ、スキャナ |
JP2006211324A (ja) * | 2005-01-28 | 2006-08-10 | Sony Corp | ディジタルカメラ装置、画像再生方法および画像再生プログラム、ならびに、データ構造体 |
CN100446083C (zh) * | 2006-02-10 | 2008-12-24 | 逐点半导体(上海)有限公司 | 一种图像动态切换装置和切换方法 |
JP2007258965A (ja) * | 2006-03-22 | 2007-10-04 | Casio Comput Co Ltd | 画像表示装置 |
JP4760725B2 (ja) * | 2007-02-02 | 2011-08-31 | カシオ計算機株式会社 | 画像再生装置、画像表示方法及びプログラム |
JP4984975B2 (ja) * | 2007-03-02 | 2012-07-25 | 株式会社ニコン | カメラおよび画像処理プログラム |
JP4139430B1 (ja) * | 2007-04-27 | 2008-08-27 | シャープ株式会社 | 画像処理装置及び方法、画像表示装置及び方法 |
JP5493456B2 (ja) * | 2009-05-01 | 2014-05-14 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
KR101635103B1 (ko) * | 2009-10-26 | 2016-06-30 | 삼성전자주식회사 | 다이나믹한 이미지 효과 구현 장치 및 방법 |
-
2009
- 2009-05-01 JP JP2009111708A patent/JP5493455B2/ja not_active Expired - Fee Related
-
2010
- 2010-04-22 US US12/799,306 patent/US8334921B2/en active Active
- 2010-04-26 CN CN2010101675241A patent/CN101877753B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20100277618A1 (en) | 2010-11-04 |
JP2010263340A (ja) | 2010-11-18 |
CN101877753A (zh) | 2010-11-03 |
US8334921B2 (en) | 2012-12-18 |
CN101877753B (zh) | 2012-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5493456B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5493455B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4544332B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US7656451B2 (en) | Camera apparatus and imaging method | |
JP5017989B2 (ja) | 撮像装置、撮像方法 | |
US9185285B2 (en) | Method and apparatus for acquiring pre-captured picture of an object to be captured and a captured position of the same | |
US20090175609A1 (en) | Using a captured background image for taking a photograph | |
JP6137113B2 (ja) | 表示装置、表示方法、プログラム | |
CN109729274B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP5219730B2 (ja) | 撮像装置及び撮像方法 | |
CN102611844A (zh) | 用于处理图像的方法和设备 | |
WO2020170606A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
US8659695B2 (en) | Method of controlling digital image processing apparatus, medium for recording the method, and digital image processing apparatus operating according to the method | |
JP2009272740A (ja) | 撮像装置、画像選択方法及び画像選択プログラム | |
CN114640783A (zh) | 一种拍照方法及相关设备 | |
JP2018007041A (ja) | 撮像装置、表示装置、及び撮像表示システム | |
US12010433B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5851133B2 (ja) | 画像再生装置、画像再生方法およびプログラム | |
JP2007336099A (ja) | 撮像装置及び撮像方法 | |
JP5570923B2 (ja) | 撮影装置、撮影装置の撮影方法、及びプログラム | |
JP2009216993A (ja) | 画像処理装置、カメラ、および画像処理プログラム | |
JP2017228828A (ja) | 撮像装置、表示装置、及び撮像表示システム | |
JP2004208024A (ja) | 撮像装置および撮像方法およびプログラムおよび記録媒体 | |
CN118450275A (zh) | 一种拍摄方法及相关设备 | |
TW200922287A (en) | Apparatus and method for capturing high dynamic range images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120321 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140217 |
|
LAPS | Cancellation because of no payment of annual fees |