JP4429148B2

JP4429148B2 - 画像撮影記録装置及び方法

Info

Publication number: JP4429148B2
Application number: JP2004340655A
Authority: JP
Inventors: 健吉林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2004-11-25
Filing date: 2004-11-25
Publication date: 2010-03-10
Anticipated expiration: 2024-11-25
Also published as: US7710464B2; JP2006157143A; US20060109353A1

Description

本発明は画像撮影記録装置及び方法に係り、特に、画像を撮影記録可能な画像撮影記録装置、及び、該画像撮影記録装置に適用可能な画像撮影記録方法に関する。

静止画像は写真プリントとして保管しておけば手軽に閲覧・鑑賞できる等のメリットがあり、動画像は動きのあるシーンの記録に適している等、静止画像と動画像にはそれぞれ異なる特長がある。このため近年、本来は被写体を静止画像として撮影記録するためのデジタルスチルカメラ（ＤＳＣ）に、被写体を動画像として撮影記録する機能を設けることが一般的となってきている（例えば特許文献１を参照）。また、本来は被写体を動画像として撮影記録するためのデジタルビデオカメラに、被写体を静止画像として撮影記録する機能を追加することも一般的となってきており、静止画像を撮影記録する機能と動画像を撮影記録する機能を各々備えた撮影記録装置が広範に普及してきている。

また、上記に関連して特許文献２には、動画像撮影用のＣＣＤ、撮像レンズ及びシャッタと静止画像撮影用のＣＣＤ、撮像レンズ及びシャッタが各々設けられ、動画像表示時又は記録時にレリーズ操作が行われると、静止画像撮影用のＣＣＤによって静止画像を撮影してメモリカードに記録する構成の撮像装置が開示されている。
特開平９−８３８７３号公報特開２００４−１７２９７８号公報

上記のように静止画像を撮影記録する機能及び動画像を撮影記録する機能を備えた撮影記録装置は、例えば特許文献１にも記載されているように、静止画像及び動画像の何れか一方を選択的に撮影記録可能な構成であることが一般的であるが、前述のように静止画像と動画像にはそれぞれ異なる特長があるため、同一のシーンを静止画像としても動画像としても記録しておきたい、というニーズが存在している。しかしながら、静止画像を撮影記録する機能及び動画像を撮影記録する機能を備えた撮影記録装置であっても、例えば被写体を動画像として撮影記録しながら所望のタイミングで静止画像も撮影記録する等の場合の撮影操作は非常に煩雑である。これを解決するために、被写体の撮影時には撮影結果を動画像データとして記録しておき、撮影後に動画像データから静止画像データを切り出すことが考えられる。

しかしながら、静止画像は画質についての要求水準が比較的高いのに対し、この種の撮影記録装置で撮影記録される動画像データの１フレームの画素数はＶＧＡサイズ（640×480画素）程度であることが一般的であり、撮影記録された動画像データから静止画像データを切り出しても高精細な静止画像データは得られない。また、ハイビジョン（ＨＤＴＶ）サイズ（例えば1280×720画素やそれ以上）相当の高精細な動画像を記録可能な画像撮影記録装置も出回り始めているが、この種の撮影記録装置では記録媒体への動画像データの記録フォーマットとして、例えばMPEG等のようにフレーム相関を利用して圧縮するフォーマットが採用されており、このような動画像データから静止画像データを切り出そうとすると、動画像データに含まれる基準静止画像データと差分データから切り出し対象の静止画像を再現する等の画像再現処理が必要となり、装置に大きな負荷がかかると共に切り出した静止画像データの画質も不十分なものとなる。

更に、静止画像データの撮影記録においては、鑑賞に堪えうる高画質の静止画像を得るために、撮像素子から出力された画像信号に対して画質向上を目的とする輪郭強調処理等の画像処理を行った後に静止画像データとして記録媒体に記録することが一般的であるのに対し、動画像の撮影記録においては、見た目に違和感の無い動画像を得るために、撮像素子から出力された画像信号に対してフレーム間の差異を小さくするスムージングや高周波成分の除去等の画像処理を行った後に動画像データとして記録媒体に記録することが一般的である。このように、静止画像と動画像は好適な画像処理も相違しており、動画像データに対して施されたスムージング等の画像処理が、動画像データから切り出す静止画像データに対しては画質低下の要因となる。従って、撮影時には撮像素子から出力された画像信号を動画像データとして記録媒体に記録しておき、撮影後に動画像データから静止画像データを切り出そうとしても、高精細かつ十分な画質の静止画像データが得られないという問題があった。

また、特許文献２に記載の技術では、ＣＣＤ、撮像レンズ及びシャッタが動画像撮影用と静止画像撮影用に各々設けられており、動画像の撮影記録と並行して静止画像の撮影記録を行うことも可能であるが、装置構成が複雑化しコストが嵩むという問題がある。

本発明は上記事実を考慮して成されたもので、撮影したシーンを静止画像としても動画像としても十分な画質で出力できる画像撮影記録装置及び画像撮影記録方法を得ることが目的である。

上記目的を達成するために請求項１記載の発明に係る画像撮影記録装置は、撮影における解像度を指定するための解像度指定手段と、撮影におけるフレームレートを、前記解像度指定手段を介して指定された解像度が高くなるに従って前記フレームレートが低くなるように設定する設定手段と、撮影対象のシーンを、前記解像度指定手段を介して指定された解像度の静止画像として、前記設定手段によって設定されたフレームレートで繰り返し撮影する撮影手段と、前記撮影手段による撮影によって順次出力される静止画像データを、非圧縮又はフレーム間の相関を利用しない圧縮方法により圧縮して記録媒体に順次記録すると共に、前記記録媒体に順次記録する静止画像データに、撮影手段による撮影におけるフレームレートを表すフレームレート情報を付加する記録手段と、出力対象の静止画像又は動画像を指定するための指定手段と、前記指定手段を介して出力対象の静止画像が指定されると、前記出力対象の静止画像に対応する静止画像データを前記記録媒体から読み出して出力する静止画像出力手段と、前記指定手段を介して出力対象の動画像が指定されると、前記出力対象の動画像に対応する静止画像データ群を前記記録媒体から読み出した後に、読み出した静止画像データ群に付加されているフレームレート情報が表すフレームレートが、前記静止画像データ群を動画像として出力する際のフレームレートよりも低い場合には、不足フレームに相当する静止画像データを撮影日時順で前後の静止画像データから補間する処理を行い、動画像データとして出力する動画像出力手段と、を含んで構成されている。

請求項１記載の発明では、撮影における解像度を指定するための解像度指定手段が設けられており、設定手段は、撮影におけるフレームレートを、解像度指定手段を介して指定された解像度が高くなるに従って前記フレームレートが低くなるように設定し、撮影手段は、撮影対象のシーンを、解像度指定手段を介して指定された解像度の静止画像として、設定手段によって設定されたフレームレートで繰り返し撮影する。また記録手段は、撮影手段による撮影によって順次出力される静止画像データを、非圧縮又はフレーム間の相関を利用しない圧縮方法により圧縮して記録媒体に順次記録すると共に、記録媒体に順次記録する静止画像データに、撮影手段による撮影におけるフレームレートを表すフレームレート情報を付加する。

また請求項１記載の発明では、出力対象の静止画像又は動画像を指定するための指定手段が設けられており、指定手段を介して出力対象の静止画像が指定されると、静止画像出力手段は、出力対象の静止画像に対応する静止画像データを記録媒体から読み出して出力する。また、指定手段を介して出力対象の動画像が指定されると、動画像出力手段は、出力対象の動画像に対応する静止画像データ群を記録媒体から読み出した後に、読み出した静止画像データ群に付加されているフレームレート情報が表すフレームレートが、前記静止画像データ群を動画像として出力する際のフレームレートよりも低い場合には、不足フレームに相当する静止画像データを撮影日時順で前後の静止画像データから補間する処理を行い、動画像データとして出力する。

このように、請求項１記載の発明では、撮影手段による撮影によって順次出力される静止画像データを、非圧縮又はフレーム間の相関を利用しない圧縮方法により圧縮して記録媒体に順次記録するので、記録媒体に一旦記録した静止画像データ群から任意の静止画像データを取り出す際に画像再現処理を行う必要はなく、撮影したシーンを静止画像として十分な画質で出力することができる。

また、解像度指定手段を介して指定された解像度が高くなると、撮影手段から出力される静止画像データの１フレーム当りのデータ量は大幅に増大するが、上記のように指定された解像度が高くなるに従ってフレームレートが低く設定されることで、単位時間毎に撮影手段から出力される画像データの増大が抑制される。一方、指定手段を介して出力対象の動画像が指定され、出力対象の動画像に対応する静止画像データ群に付加されているフレームレート情報が表すフレームレートが、前記静止画像データ群を動画像として出力する際のフレームレートよりも低い場合には、動画像出力手段により、出力対象の動画像に対応する静止画像データ群を記録媒体から読み出した後に、読み出した静止画像データ群不足フレームに相当する静止画像データを撮影日時順で前後の静止画像データから補間する処理が行われ、動画像データとして出力される。

これにより、撮像手段による撮影におけるフレームレートに比して出力される動画像の画質を向上させることができ、撮影したシーンを動画像としても十分な画質で出力することができる。また、請求項１記載の発明によれば、高解像度かつ高フレームレートで動画像を出力することを、撮影手段や記録手段を高解像度かつ高フレームレートでの撮影が可能に構成することなく実現することができるので、本発明に係る画像撮影記録装置の低コスト化、構成の簡略化、汎用性の向上を実現することができる。

また、ＤＳＣでは静止画像を撮影記録するためにシャッターボタンを押下すると、シャッターボタンが押下されたタイミングに対して若干遅いタイミングで撮像された静止画像が記録媒体に記録されるという問題があるが、請求項１記載の発明では、撮影手段による撮影によって順次出力される静止画像データを記録媒体に順次記録しておき、指定手段を介して出力対象の静止画像が指定されると、出力対象の静止画像に対応する静止画像データを記録媒体から読み出して出力するので、上記のタイミングのずれの影響を受けることなく、記録媒体に記録されている静止画像データ群の中から所望のタイミングで撮影された静止画像のデータを切り出すことができる、という副次的な効果も有している。

なお、請求項１記載の発明において、静止画像用の画像処理は出力する動画像の画質には殆ど悪影響を及ぼさない（出力対象の動画像が指定されると、記録媒体から読み出した出力対象の動画像に対応する静止画像データ群に動画像用の画像処理を施すことも一因である）ので、請求項１記載の発明において、静止画像用の画像処理は、例えば請求項２に記載したように、記録手段によって記録媒体に順次記録される静止画像データに施すようにしてもよいし、出力対象の静止画像が指定されることで記録媒体から読出した出力対象の静止画像に対応する静止画像データに対して施すようにしてもよい。なお、静止画像用の画像処理としては静止画像の画質向上を目的とする画像処理、例えばノイズ低減処理や輪郭強調処理、フィルタリング処理、色補正処理等が挙げられる。これにより、出力する静止画像の画質を更に向上させることができる。

また、請求項１記載の発明において、動画像出力手段は、フレームレート情報が表すフレームレートが、静止画像データ群を動画像として出力する際のフレームレートよりも高い場合には、余剰フレームに相当する静止画像データを削除する処理を行うように構成することが好ましい。

請求項４記載の発明に係る画像撮影記録方法は、撮影におけるフレームレートを、撮影における解像度を指定するための解像度指定手段を介して指定された解像度が高くなるに従って前記フレームレートが低くなるように設定し、撮影対象のシーンを、撮影手段により、前記解像度指定手段を介して指定された解像度の静止画像として、前記設定したフレームレートで繰り返し撮影し、前記撮影手段による撮影によって順次出力される静止画像データを、非圧縮又はフレーム間の相関を利用しない圧縮方法により圧縮して記録媒体に順次記録すると共に、前記記録媒体に順次記録する静止画像データに、撮影手段による撮影におけるフレームレートを表すフレームレート情報を付加し、出力対象の静止画像又は動画像を指定するための指定手段を介して出力対象の静止画像が指定されると、前記出力対象の静止画像に対応する静止画像データを前記記録媒体から読み出して出力し、前記指定手段を介して出力対象の動画像が指定されると、前記出力対象の動画像に対応する静止画像データ群を前記記録媒体から読み出した後に、読み出した静止画像データ群に付加されているフレームレート情報が表すフレームレートが、前記静止画像データ群を動画像として出力する際のフレームレートよりも低い場合には、不足フレームに相当する静止画像データを撮影日時順で前後の静止画像データから補間する処理を行い、動画像データとして出力するので、請求項１記載の発明と同様に、撮影したシーンを静止画像としても動画像としても十分な画質で出力することができる。

以上説明したように本発明は、撮影におけるフレームレートを、撮影における解像度を指定するための解像度指定手段を介して指定された解像度が高くなるに従って前記フレームレートが低くなるように設定し、撮影対象のシーンを、撮影手段により、解像度指定手段を介して指定された解像度の静止画像として、前記設定したフレームレートで繰り返し撮影し、撮影手段による撮影によって順次出力される静止画像データを、非圧縮又はフレーム間の相関を利用しない圧縮方法により圧縮して記録媒体に順次記録すると共に、記録媒体に順次記録する静止画像データに、撮影におけるフレームレートを表すフレームレート情報を付加し、出力対象の静止画像が指定されると、出力対象の静止画像に対応する静止画像データを記録媒体から読み出して出力し、出力対象の動画像が指定されると、出力対象の動画像に対応する静止画像データ群を記録媒体から読み出した後に、読み出した静止画像データ群に付加されているフレームレート情報が表すフレームレートが、前記静止画像データ群を動画像として出力する際のフレームレートよりも低い場合には、不足フレームに相当する静止画像データを撮影日時順で前後の静止画像データから補間する処理を行い、動画像データとして出力するようにしたので、撮影したシーンを静止画像としても動画像としても十分な画質で出力できる、という優れた効果を有する。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。なお、以下では本発明の実施形態の説明に先立ち、本発明の比較例を説明する。

〔比較例〕
図１には、撮影したシーンを静止画像及び動画像として出力可能な撮影記録装置１０が示されている。撮影記録装置１０はエリアＣＣＤセンサ等から成る撮像素子１２を備えている。撮像素子１２は図示しないレンズの焦点位置に配置されており、被写体で反射されてレンズに入射された光は撮像素子１２の受光面に結像される。撮像素子１２には駆動制御部１４が接続されており、駆動制御部１４はＣＰＵ３８に接続されている。撮影対象のシーンの撮影時、ＣＰＵ３８は駆動制御部１４に対して撮像素子１２による撮像におけるフレームレートを指示し、駆動制御部１４は撮像素子１２による撮像をＣＰＵ３８から指示されたフレームレートで行わせるためのタイミング信号を生成し、撮像素子１２へ出力する。撮像素子１２は駆動制御部１４から入力されたタイミング信号に同期したタイミングで駆動され、ＣＰＵ３８が指示したフレームレートに相当する周期で撮像信号（受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表す信号）を繰り返し出力する。なお本比較例では、撮像素子１２として、撮影対象のシーンをＨＤＴＶに相当する高解像度（例えば1280×720画素、或いは1920×1080画素等）かつ高フレームレート（例えば30フレーム／秒以上）で高精細に撮影可能なように、上記解像度に対応する多数個の光電変換セルが設けられた高速の撮像素子を用いている。

撮像素子１２の信号出力端には、Ａ／Ｄ変換部１６、画像入力制御部１８が順に接続されている。撮像素子１２から出力された画像信号は、Ａ／Ｄ変換部１６によって増幅されると共にデジタルの撮像データに変換されて画像入力制御部１８へ入力される。画像入力制御部１８はデータバス２０に接続されており、入力された撮像データをデータバス２０へ送出する。データバス２０には、画像データに対して動画像用の画像処理を行う動画像処理部２２、画像データ（撮像データ）に対して静止画像用の画像処理を行う静止画像処理部２４、画像データの圧縮及び伸長（解凍）を行う圧縮／伸長処理部２６、撮影記録装置１０の本体に設けられたＬＣＤ等から成る表示装置２８が接続され表示装置２８への静止画像及び動画像の表示を制御する表示制御部３０、情報記録／読出装置３２が接続され情報記録／読出装置３２による記録メディア（例えばリムーバブルメディア）３４に対する情報の記録及び読み出しを制御する記録／読出制御部３６及びＣＰＵ３８が各々接続されている。なお、表示装置２８として別体の任意の表示装置を接続することも可能とされている。

データバス２０に接続された画像入力制御部１８、静止画像処理部２４、圧縮／伸長処理部２６、表示制御部３０、記録／読出制御部３６及びＣＰＵ３８はデータ制御部４０に各々接続されており、これらの制御部・処理部の間のデータバス２０経由でのデータ転送はデータ制御部４０によって制御される。このデータ制御部４０にはメモリ４２が接続されている。また、図示は省略するが、画像入力制御部１８、静止画像処理部２４、圧縮／伸長処理部２６、表示制御部３０、記録／読出制御部３６はＣＰＵ３８にも接続されており、これらの制御部・処理部における処理はＣＰＵ３８によって制御される。ＣＰＵ３８には、撮影記録装置１０の本体に設けられた電源スイッチ、各種の設定スイッチ、図示しない撮影指示ボタンの操作に応じて接点が切り替わる撮影指示スイッチ（何れも図示省略）等を含んで構成された操作部４４が接続されている。

なお、操作部４４は本発明に係る指定手段に対応しており、撮像素子１２、Ａ／Ｄ変換部１６、画像入力制御部１８及び静止画像処理部２４のうち後述する各種の補正処理を行う部分は本発明に係る撮影手段に対応している。また、静止画像処理部２４のうち後述する静止画像用の画像処理を行う部分は記録／読出制御部３６及び情報記録／読出装置３２、表示制御部３０と共に本発明に係る静止画像出力手段に対応しており、動画像処理部２２は記録／読出制御部３６及び情報記録／読出装置３２、表示制御部３０と共に本発明に係る動画像出力手段に対応している。

また、図示は省略するが、撮影記録装置１０にはマイクロフォンとスピーカも設けられており、マイクロフォンはＡ／Ｄ変換器等を介してデータバス２０に接続され、スピーカは増幅器及びＤ／Ａ変換器を介してデータバス２０に接続されている。

次に本比較例の作用として、ユーザによって撮影指示ボタンが操作されたことに伴い、撮影が指示されたことを表す信号が操作部４４から入力されることで、ＣＰＵ３８で実行される撮影処理について、図２のフローチャートを参照して説明する。ＣＰＵ３８ではステップ１００において、駆動制御部１４に対して撮像素子１２による撮像におけるフレームレートを指示し、撮像素子１２による撮影対象シーンの撮像を開始させる。これにより、駆動制御部１４がＣＰＵ３８から指示されたフレームレートに対応するタイミング信号を生成して撮像素子１２へ出力することで撮像素子１２が駆動され、撮像素子１２は、撮影対象シーンを撮影した結果に相当する撮像信号を、ＣＰＵ３８が指示したフレームレートに相当する周期で順次出力する。撮像素子１２から順次出力された撮像信号は、Ａ／Ｄ変換部１６によってデジタルの撮像データに変換されて画像入力制御部１８へ順次入力される。

またＣＰＵ３８は、次のステップ１１０において、画像入力制御部１８に対し、順次入力される撮像データを静止画像処理部２４へ転送するようデータ制御部４０経由で指示すると共に、静止画像処理部２４に対して各種の補正処理及び静止画像用の画像処理を実行するよう指示する。これにより、画像入力制御部１８に順次入力された撮像データはデータバス２０を介して静止画像処理部２４へ順次転送される。また静止画像処理部２４は、画像入力制御部１８から順次転送された撮像データに対し、まず各種の補正処理を各々行う。この補正処理には、撮像素子１２の暗出力を補正する暗補正、撮像素子１２の各光電変換セル毎の光電変換特性のばらつきを補正するゲイン補正、γ補正、ホワイトバランス補正、レンズの収差に起因する画像の歪を補正する収差補正、画素補間（撮像素子１２の受光面上で隣接する単一の画素に対応するＲ,Ｇ,Ｂの各光電変換セルから出力されたデータから、受光面上の同一の画素位置におけるＲ,Ｇ,Ｂの受光量（濃度）を表すデータを補間によって求める処理）、Ｙ／Ｃ変換処理等が含まれている。これらの補正処理により、入力された個々の撮像データから、撮像素子１２によって撮影されたシーンを輝度及び色差の画像データで表す静止画像データが得られる。

また静止画像処理部２４は、各種の補正処理を経た静止画像データに対し、当該静止画像データが表す静止画像の画質向上のために静止画像用の画像処理を行う。なお、静止画像用の画像処理としては、静止画像データ中のノイズ成分を低減させるノイズ低減処理、静止画像中の輪郭成分を抽出し抽出した輪郭成分を強調する輪郭強調処理、特定の空間周波数成分を減衰又は強調させるフィルタリング処理、静止画像の色バランスを補正する色補正処理等が挙げられる。また、撮影対象シーンの種類に応じて複数の撮影モードを設けておくと共に、複数の撮影モードの中から所望の撮影モードを選択するためのスイッチを操作部４４に設けておき、前記スイッチが操作されることで選択された撮影モードに応じて、上記の静止画像用の画像処理におけるパラメータを切替えるようにしてもよい。静止画像処理部２４に順次入力される撮像データに対して上記の補正処理及び静止画像用の画像処理が各々行われることで、順次入力される撮像データから、各々静止画像としての鑑賞に堪えうる高画質の静止画像データ群が得られることになる。

またＣＰＵ３８は、次のステップ１２０において、静止画像処理部２４に対して補正処理及び静止画像用の画像処理を経た静止画像データを圧縮／伸長処理部２６へ順次転送するようデータ制御部４０経由で指示し、圧縮／伸長処理部２６に対してフレーム間の相関を利用しない所定の圧縮方式での静止画像データの圧縮を指示すると共に、圧縮した静止画像データを記録／読出制御部３６へ転送するようデータ制御部４０経由で指示し、更に記録／読出制御部３６に対して記録メディア３４への情報記録を指示する。これにより、補正処理及び静止画像用の画像処理を経た静止画像データは静止画像処理部２４からデータバス２０を介して圧縮／伸長処理部２６へ順次転送され、圧縮／伸長処理部２６によってフレーム間の相関を利用しない所定の圧縮方式（例えばjpegや他の方式）で圧縮された後に、圧縮静止画像データとしてデータバス２０を介して記録／読出制御部３６へ順次転送される。また、記録／読出制御部３６は順次転送される圧縮静止画像データを情報記録／読出装置３２を介して記録メディア３４へ順次記録させる。

なお、圧縮静止画像データの生成・記録と並行して、マイクロフォンからＡ／Ｄ変換器等を介して出力された音声データもデータバス２０を介して記録／読出制御部３６へ順次転送され、情報記録／読出装置３２を介して記録メディア３４へ圧縮静止画像データと共に順次記録される。

ステップ１３０では、ユーザによって撮影指示ボタンが操作されることで、撮影終了が指示されたことを表す信号が操作部４４から入力されたか否か判定する。判定が否定された場合はステップ１００に戻り、ステップ１００の判定が肯定される迄ステップ１００〜ステップ１３０を繰り返す。これにより、ユーザによって撮影が指示されている間、撮像素子１２からＡ／Ｄ変換部１６を介して出力される撮像データが、補正処理、静止画像用の画像処理及び圧縮処理を経た圧縮静止画像データとして、記録メディア３４に順次記録されることになる。そして、ユーザによって撮影終了が指示されると、ステップ１３０の判定が肯定されて撮影処理を終了する。

次に、ユーザによって操作部４４が操作されることで、記録メディア３４に記録されている静止画像データ群を静止画像又は動画像として表示装置２８へ表示するよう指示された場合に実行される画像表示処理について、図３を参照して説明する。

ステップ１５０では、ユーザによって表示対象の画像及び表示形態（静止画像として表示させるか動画像として表示させるか）が指定されたか否か判定し、判定が肯定される迄ステップ１５０の判定を繰り返す。ユーザによる表示対象画像の指定は、例えば記録メディアに記録されている圧縮静止画像データに基づき撮影日時順に複数の圧縮静止画像データのサムネイル画像を生成して一覧表示させると共に、ユーザからの指示に応じてサムネイル画像として一覧表示させる圧縮静止画像データを切替えることで、全ての圧縮静止画像データのサムネイル画像を表示可能とし（これに代えて撮影日時が一定時間間隔の圧縮静止画像データのサムネイル画像のみを表示可能としてもよい）、静止画像又は動画像として表示させる圧縮静止画像データのサムネイル画像をユーザに選択させる（表示形態が動画像の場合は、例えば表示対象の動画像の少なくとも先頭に相当する圧縮静止画像データのサムネイル画像をユーザに選択させる等）と共に、表示形態が静止画像か動画像かをユーザに選択させることで行うことができる。また、撮影日時等の他の情報をユーザに指定させることで表示対象の画像を指定させるようにしてもよい。

ユーザによって表示対象の画像及び表示形態が指定されると、ステップ１５０の判定が肯定されてステップ１６０へ移行し、指定された表示形態が静止画像か動画像かを判定する。指定された表示形態が静止画像の場合、ＣＰＵ３８は記録／読出制御部３６に対し、表示対象として指定された圧縮静止画像データを記録メディア３４から読み出すよう指示すると共に、記録メディア３４から読み出された圧縮静止画像データを圧縮／伸長処理部２６へ転送するようデータ制御部４０経由で指示する（ステップ１７０）。またＣＰＵ３８は圧縮／伸長処理部２６に対し、転送された圧縮静止画像データを伸長（解凍）するよう指示する。これにより、表示対象として指定された圧縮静止画像データが、情報記録／読出制御部３６の制御下で情報記録／読出装置３２によって記録メディア３４から読み出され、次に情報記録／読出制御部３６からデータバス２０を介して圧縮／伸長処理部２６へ転送されて伸長処理が行われることで元の静止画像データが再現されることになる。

また、次のステップ１８０において、ＣＰＵ３８は圧縮／伸長処理部２６に対し、伸長処理によって再現された静止画像データを表示制御部３０へ転送するようデータ制御部４０経由で指示すると共に、表示制御部３０に対し、転送された静止画像データを表示装置２８に静止画像として表示するよう指示する。これにより、伸長処理によって再現された静止画像データが圧縮／伸長処理部２６からデータバス２０を介して表示制御部３０へ転送され、静止画像として表示装置２８に表示されることになる。本比較例では、静止画像用の画像処理を行った画像データ（圧縮静止画像データ）を記録メディア３４に記録しているので、上記のように圧縮静止画像データを単に伸長して表示装置２８に表示させるのみで、表示装置２８に高画質の静止画像を表示させることができる。表示装置２８に静止画像を表示させた場合、ユーザから表示終了が指示されると画像表示処理を終了する。

一方、指定された表示形態が動画像の場合にはステップ１６０からステップ１９０へ移行し、記録／読出制御部３６に対し、表示対象として指定された圧縮静止画像データ群（例えば指定された圧縮静止画像データを先頭として撮影日時順に所定数の静止画像データ群）を記録メディア３４から読み出すよう指示すると共に、記録メディア３４から読み出された圧縮静止画像データ群を圧縮／伸長処理部２６へ順次転送するようデータ制御部４０経由で指示する。またＣＰＵ３８は圧縮／伸長処理部２６に対し、順次転送される圧縮静止画像データを伸長（解凍）するよう指示する。これにより、表示対象として指定された圧縮静止画像データ群が、情報記録／読出制御部３６の制御下で情報記録／読出装置３２によって記録メディア３４から順次読み出され、次に情報記録／読出制御部３６からデータバス２０を介して圧縮／伸長処理部２６へ順次転送されて伸長処理が行われることで元の静止画像データ群が再現されることになる。

また、次のステップ２００において、ＣＰＵ３８は圧縮／伸長処理部２６に対し、伸長処理によって再現された静止画像データ群を動画像処理部２２へ順次転送するようデータ制御部４０経由で指示すると共に、動画像処理部２２に対し、順次転送される静止画像データ群に対して動画像用の画像処理を実行するよう指示する。これにより、伸長処理によって再現された静止画像データが圧縮／伸長処理部２６からデータバス２０を介して動画像処理部２２へ順次転送される。また動画像処理部２２は、圧縮／伸長処理部２６から順次転送される静止画像データ群に対し、動画像用の画像処理を行う。動画像用の画像処理としては、静止画像データの解像度を表示装置２８の表示画面の画素数に対応する解像度へ変換する解像度変換処理、見た目の違和感軽減のためのスムージング処理、空間周波数の高周波成分を除去するフィルタリング処理、色バランスを調整する色補正処理が挙げられる。動画像処理部２２に順次入力される静止画像データ群に対して上記の動画像用の画像処理が各々行われることで、見た目に違和感のない動画像として表示できる動画像表示用の静止画像データ群（動画像データ）が得られる。

そしてステップ２１０において、ＣＰＵ３８は動画像処理部２２に対し、動画像用の画像処理を経た静止画像データ群（動画像データ）を表示制御部３０へ順次転送するようデータ制御部４０経由で指示すると共に、表示制御部３０に対し、順次転送される動画像データを表示装置２８に動画像として表示するよう指示する。これにより、動画像用の処理を経た動画像データが動画像処理部２２からデータバス２０を介して表示制御部３０へ順次転送され、動画像として表示装置２８に表示されることになる。このように、本比較例では、記録メディア３４から読出した静止画像データ群に対して動画像用の画像処理を行うので、表示装置２８に静止画像を表示させる際の画質を損なうことなく、表示装置２８に十分な画質の動画像を表示させることができる。なお、動画像の表示時には対応する音声データも記録メディア３４から読み出され、データバス２０に接続されたＤ／Ａ変換器でアナログの音声信号へ変換され、増幅器で増幅された後にスピーカへ供給されることで、スピーカから音声として出力される。

次のステップ２２０では、動画像の表示終了が指示されたか、或いは動画像として表示すべき静止画像データ（圧縮静止画像データ）が無くなったか否か判定する（なお、表示対象の動画像の末尾もユーザによって指定された場合には、表示している動画像が指定された末尾に到達したか否かも判定する）。この判定が否定された場合はステップ１９０に戻り、ステップ２２０の判定が肯定される迄、ステップ１９０〜ステップ２２０を繰り返す。これにより、動画像の表示終了が指示されるか、動画像として表示すべき静止画像データ（圧縮静止画像データ）が無くなるか、或いは表示している動画像が指定された末尾に到達する迄の間は、記録メディア３４から圧縮静止画像データを撮影日時順に読み出し、読み出した圧縮静止画像データに対して伸長処理・動画像用の画像処理を行い、表示装置２８に動画像として表示する処理が継続される。そして、ステップ２２０の判定が肯定されると処理を終了する。

〔実施形態〕
次に本発明の実施形態について説明する。なお、比較例と同一の部分には同一の符号を付して説明を省略し、比較例と異なる部分についてのみ説明する。

本実施形態に係る撮影記録装置４６（図４参照）では、撮像素子１２による撮影における解像度（撮像素子から出力される撮像データの画素数）を切替え可能とされており、ＣＰＵ３８は、例えば操作部４４を介してユーザから指示された画素数に応じて撮像素子１２による撮影における解像度が切り替わるように駆動制御部１４等を制御する。また、撮像素子１２による撮影における解像度が比較的高い場合（例えばＨＤＴＶに相当する解像度の場合）、ＣＰＵ３８は、撮像データのデータ量が増大することに伴って静止画像データのデータ量（画素数）が増大し、静止画像処理部２４における静止画像用の画像処理等が追いつかなくなる可能性を考慮し、撮像素子１２による撮影におけるフレームレートが低く(例えば15フレーム／秒）なるように駆動制御部１４等を制御する。

図４に示すように、本実施形態に係る撮影記録装置４６にはフレームレートを検出するフレームレート検出部４８が設けられており、フレームレート検出部４８はＣＰＵ３８及びデータ制御部４０に接続されている。また、データバス２０にはフレーム補間処理を行うフレーム補間処理部５０が接続されており、このフレーム補間制御部５０にはフレーム補間処理に用いるフレームメモリ５２が接続されている。また、フレーム補間制御部５０はデータ制御部４０に接続されており、フレームレート検出部４８からデータ制御部４０経由で入力される指示によりフレーム補間処理を行う。

次に本実施形態の作用として、まず図５を参照し、本実施形態に係る撮影処理を説明する。本実施形態に係る撮影処理では、撮影終了が指示されることでステップ１３０の判定が肯定されると、次のステップ１３２において、撮影時のフレームレートを表すフレームレート情報を、記録メディア３４に既に記録した静止画像データ群と対応付けて記録メディア３４へ静止画像データ群の属性情報として記録するよう記録／読出制御部３６を制御する。記録メディア３４に記録するデータのフォーマットの一例を図７に示す。

図７において、画像データ記録領域には静止画像データ群（圧縮静止画像データ群）の個々の静止画像データ（圧縮静止画像データ）が順次記録される。また、属性情報記録領域には、１回の撮影操作で途切れることなく撮影された静止画像データ群全体（図７では静止画像データ群Ａと表記）の属性情報を記録するための第１の領域と、個々の静止画像データの属性情報を記録するための第２の領域が各々設けられている。上述したステップ１３２の処理により、フレームレート情報は１回の撮影操作で撮影された静止画像データ群全体の属性情報の１つとして属性情報記録領域の第１の領域に記録される。また、属性情報記録領域の第２の領域には個々の静止画像データの撮影日時等の情報が各々記録される。

続いて図６を参照し、本実施形態に係る画像表示処理を説明する。本実施形態に係る画像表示処理では、ユーザによって表示対象の画像及び表示形態が指定され、指定された表示形態が動画像の場合に、ステップ１６０からステップ１８２へ移行し、記録／読出制御部３６に対し、表示対象として指定された圧縮静止画像データ群に加えてフレームレート情報も記録メディア３４から読み出すよう指示する。これにより、表示対象として指定された圧縮静止画像データ群が、情報記録／読出制御部３６の制御下で情報記録／読出装置３２によって記録メディア３４の画像データ記録領域から順次読み出されると共に、情報記録／読出制御部３６の制御下で情報記録／読出装置３２によって記録メディア３４の属性情報記録領域の第１の領域からフレームレート情報が読み出される。

記録メディア３４から読み出された圧縮静止画像データ群は、比較例と同様に圧縮／伸長処理部２６へ順次転送されて伸長されることで元の静止画像データ群が再現され、その後、再現された静止画像データが圧縮／伸長処理部２６からデータバス２０を介して動画像処理部２２へ順次転送され、動画像処理部２２によって動画像用の画像処理が行われる（ステップ２００）。一方、記録メディア３４から読み出されたフレームレート情報はＣＰＵ３８からフレームレート検出部４８へ出力され、フレームレート検出部４８では、入力されたフレームレート情報が表すフレームレートが、予め設定されたフレームレートの閾値よりも低いか否かを判断することで、フレーム補間処理が必要か否か判定する（ステップ２０１）。

この判定が否定された場合は、フレーム補間処理が行われることなく、動画像用の画像処理を経た静止画像データ群（動画像データ）が動画像処理部２２から表示制御部３０へ順次転送され、動画像データが動画像として表示装置２８に表示される（ステップ２１０）が、フレーム補間処理が必要と判定された場合には、この判定結果がフレームレート検出部４８からデータ制御部４０を経由してフレーム補間処理部５０に入力されると共にＣＰＵ３８にも入力される。

これにより、ＣＰＵ３８は動画像用の画像処理を経た静止画像データ群が動画像処理部２２からデータバス２０を介して表示制御部３０へ順次転送されるようにデータ制御部４０経由で指示し、フレーム補間処理部５０は動画像処理部２２から順次転送される静止画像データ群に基づき、当該静止画像データ群を所定のフレームレートの動画像として出力した場合の不足フレームに相当する静止画像データを、不足フレームに対して撮影日時順で前後のフレームの静止画像データからフレームメモリ５２上で補間により生成するフレーム補間処理を行う（ステップ２０２）。そして、転送された静止画像データ及びフレーム補間処理によって生成した静止画像データを所定の順序（表示装置２８への表示順）で表示制御部３０へ動画像データとして順次転送する。これにより、撮像素子１２による撮影によって得られた静止画像データ群が、撮像素子１２による撮影におけるフレームレートよりも高いフレームレートの動画像として表示装置２８に表示されることになる（ステップ２１０）。

このように、本実施形態では表示装置２８に動画像を表示する際に、撮像素子１２による撮影におけるフレームレートに基づき必要に応じてフレーム補間処理を行うので、撮像素子１２による撮影におけるフレームレートに比して表示装置２８に表示する動画像の画質を向上させることができる。また、表示装置２８に高解像度かつ高フレームレートで動画像を表示させる必要がある場合にも、撮影及び静止画像データの生成・記録メディア３４への記録に係る部分（撮像素子１２やその周辺回路、静止画像処理部２４等）を、それに合わせて高解像度かつ高フレームレートで処理可能に構成する必要がなくなり、撮影記録装置４６の低コスト化、汎用性の向上を実現することができる。

なお、上記ではフレームレート情報が表す撮影時のフレームレートが閾値よりも低い場合にフレーム補間処理を行う態様を説明したが、これに限定されるものではなく、動画像用の画像処理を経た静止画像データ群を撮影時と同一のフレームレートで表示装置２８に表示させると共に、見た目の違和感が軽減されるようにスムージング処理をより強くかけたり、フィルタリング処理による空間周波数の高周波成分の除去量を増大させて鮮鋭度をより低下させる等、動画像用の画像処理のパラメータを切替えるようにしてもよい。フレーム補間処理により不足フレームの静止画像データを新たに生成するためにはフレームメモリ５２等の大容量のメモリが必要となるが、フレーム補間処理に代えて上記のスムージング処理やフィルタリング処理を行う場合はフレームメモリ等は不要であり、撮影記録装置のコストを削減することができる。また、撮影時のフレームレートが表示装置２８に動画像を表示させる際のフレームレートよりも高い場合には、余剰フレームの静止画像データを削除する（間引く）処理を行うようにしてもよいことは言うまでもない。

なお、上記では記録メディア３４に記録する静止画像データに対して静止画像用の画像処理を行う例を説明したが、これに限定されるものではなく、記録メディア３４に記録する静止画像データに対しては静止画像用の画像処理（及び動画像用の画像処理）を行わずに、表示装置２８への静止画像の表示が指示された際に、表示対象の静止画像データに対して静止画像用の画像処理を行うようにしてもよい。

また、上記ではフレーム間の相関を利用しない圧縮方式で圧縮した静止画像データを記録媒体（記録メディア３４）に記録する例を説明したが、これに限定されるものではなく、静止画像データを圧縮せずにそのまま記録媒体に記録するようにしてもよいし、圧縮して記録するか圧縮せずに記録するかをユーザが選択可能としてもよい。

また、上記では静止画像データ又は動画像データの出力の一例として、表示装置２８への静止画像又は動画像の表示を説明したが、これに限定されるものではなく、例えばパーソナル・コンピュータ（ＰＣ）等の情報処理装置への静止画像データ又は動画像データの送信等を行うことも可能である。この場合も、出力先の情報処理装置で取扱可能なデータフォーマットに応じて、静止画像用の画像処理又は動画像用の画像処理の処理内容を切替えることが望ましい。

また、上記では本発明に係る静止画像出力手段及び動画像出力手段に相当する機能が本発明に係る画像撮影記録に搭載されている態様を説明したが、上記機能は記録媒体（記録メディア３４）に記録された静止画像データを読み出す機能を備えた画像撮影記録装置以外の他の装置（例えばＰＣ等）にも搭載可能であることは言うまでもない。

第１実施形態に係る画像撮影記録装置の概略構成を示すブロック図である。第１実施形態に係る撮影処理の内容を示すフローチャートである。第１実施形態に係る画像表示処理の内容を示すフローチャートである。第２実施形態に係る画像撮影記録装置の概略構成を示すブロック図である。第２実施形態に係る撮影処理の内容を示すフローチャートである。第２実施形態に係る画像表示処理の内容を示すフローチャートである。記録メディア内のデータフォーマットの一例を示すイメージ図である。

１０，４６撮影記録装置
１２撮像素子
２２動画像処理部
２４静止画像処理部
２６圧縮／伸長処理部
２８表示装置
３４記録メディア
４４操作部
４８フレームレート検出部
５０フレーム補間処理部

Claims

撮影における解像度を指定するための解像度指定手段と、
撮影におけるフレームレートを、前記解像度指定手段を介して指定された解像度が高くなるに従って前記フレームレートが低くなるように設定する設定手段と、
撮影対象のシーンを、前記解像度指定手段を介して指定された解像度の静止画像として、前記設定手段によって設定されたフレームレートで繰り返し撮影する撮影手段と、
前記撮影手段による撮影によって順次出力される静止画像データを、非圧縮又はフレーム間の相関を利用しない圧縮方法により圧縮して記録媒体に順次記録すると共に、前記記録媒体に順次記録する静止画像データに、撮影手段による撮影におけるフレームレートを表すフレームレート情報を付加する記録手段と、
出力対象の静止画像又は動画像を指定するための指定手段と、
前記指定手段を介して出力対象の静止画像が指定されると、前記出力対象の静止画像に対応する静止画像データを前記記録媒体から読み出して出力する静止画像出力手段と、
前記指定手段を介して出力対象の動画像が指定されると、前記出力対象の動画像に対応する静止画像データ群を前記記録媒体から読み出した後に、読み出した静止画像データ群に付加されているフレームレート情報が表すフレームレートが、前記静止画像データ群を動画像として出力する際のフレームレートよりも低い場合には、不足フレームに相当する静止画像データを撮影日時順で前後の静止画像データから補間する処理を行い、動画像データとして出力する動画像出力手段と、
を含む画像撮影記録装置。
前記記録手段によって前記記録媒体に順次記録される静止画像データに、静止画像用の画像処理を施す画像処理手段を更に備えたことを特徴とする請求項１記載の画像撮影記録装置。
前記動画像出力手段は、前記フレームレート情報が表すフレームレートが、前記静止画像データ群を動画像として出力する際のフレームレートよりも高い場合には、余剰フレームに相当する静止画像データを削除する処理を行うことを特徴とする請求項１記載の画像撮影記録装置。
撮影におけるフレームレートを、撮影における解像度を指定するための解像度指定手段を介して指定された解像度が高くなるに従って前記フレームレートが低くなるように設定し、
撮影対象のシーンを、撮影手段により、前記解像度指定手段を介して指定された解像度の静止画像として、前記設定したフレームレートで繰り返し撮影し、
前記撮影手段による撮影によって順次出力される静止画像データを、非圧縮又はフレーム間の相関を利用しない圧縮方法により圧縮して記録媒体に順次記録すると共に、前記記録媒体に順次記録する静止画像データに、撮影手段による撮影におけるフレームレートを表すフレームレート情報を付加し、
出力対象の静止画像又は動画像を指定するための指定手段を介して出力対象の静止画像が指定されると、前記出力対象の静止画像に対応する静止画像データを前記記録媒体から読み出して出力し、
前記指定手段を介して出力対象の動画像が指定されると、前記出力対象の動画像に対応する静止画像データ群を前記記録媒体から読み出した後に、読み出した静止画像データ群に付加されているフレームレート情報が表すフレームレートが、前記静止画像データ群を動画像として出力する際のフレームレートよりも低い場合には、不足フレームに相当する静止画像データを撮影日時順で前後の静止画像データから補間する処理を行い、動画像データとして出力する画像撮影記録方法。