JP7077141B2 - 画像記録装置、画像記録方法およびプログラム - Google Patents

画像記録装置、画像記録方法およびプログラム Download PDF

Info

Publication number
JP7077141B2
JP7077141B2 JP2018101560A JP2018101560A JP7077141B2 JP 7077141 B2 JP7077141 B2 JP 7077141B2 JP 2018101560 A JP2018101560 A JP 2018101560A JP 2018101560 A JP2018101560 A JP 2018101560A JP 7077141 B2 JP7077141 B2 JP 7077141B2
Authority
JP
Japan
Prior art keywords
image
frame
unit
still image
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018101560A
Other languages
English (en)
Other versions
JP2019208103A (ja
Inventor
宏之 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2018101560A priority Critical patent/JP7077141B2/ja
Priority to CN201910424880.8A priority patent/CN110545367B/zh
Priority to US16/419,469 priority patent/US10616526B2/en
Publication of JP2019208103A publication Critical patent/JP2019208103A/ja
Application granted granted Critical
Publication of JP7077141B2 publication Critical patent/JP7077141B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、動画像と静止画像を同時に記録する画像記録装置、画像記録方法およびプログラムに関する。
撮像した画像をディジタルデータとして記録する画像記録装置において、動画と特定の場面の静止画像を同時に記録する記録方法が提案されている。
例えば、特許文献１に記載の記録方法は、動画の記録中に所定の操作を受け付け、その操作が行われときＩピクチャを生成し、生成したＩピクチャを静止画像として記録する。Ｉピクチャとは、動画を構成する複数のフレームの画像のうち、他のフレームの画像を参照せずに自フレームでのフレーム内予測を行って符号化の対象とするフレームの画像を意味する。記録された静止画像に対応するフレームから動画を再生するとき、当該静止画像に対応するフレームがＩピクチャであるため、他のフレームから再生を行うよりも再生処理に要する処理量が少なくなる。
特開平７－２８４０５８号公報
他方、動画の再生の際、符号化によって得られる符号化データの容量（符号量）が、復号器のバッファの容量を超えないようにする必要がある。また、Ｉピクチャの符号化データの容量は、一般に、他のフレームを参照してフレーム間予測を行って符号化の対象とするフレームの画像（例えば、Ｂピクチャ、Ｐピクチャ）の符号化データの容量よりも多い。特許文献１に記載の記録方法では、操作に応じて指示されるタイミングでＩピクチャが生成され、その符号化データが記録されるので、符号量が増加してしまう。その結果、その部分の符号量が復号器のバッファの容量を超えてしまい、正常に動画が再生されない可能性があった。
本発明は上記の点に鑑みてなされたものであり、符号量の増加を抑制することができる画像記録装置、画像記録方法およびプログラムを提供することを課題とする。
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、動画像を形成する各フレームの画像を符号化する動画像符号化部と、静止画像を符号化する静止画像符号化部と、制御部と、を備え、前記動画像を形成するフレームの系列は、前記動画像符号化部がフレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含み、かつ、前記系列は、前記フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含み、前記制御部は、静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化部に符号化させ、前記待機期間が前記所定の時間を超えるとき、前記指示時点における現フレームの画像を非参照フレームとして前記動画像符号化部に符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化部に符号化させ、または、前記待機期間が前記所定の時間未満であるとき、前記次の非参照フレームに対応する静止画像を前記静止画像符号化部に符号化させ、前記待機期間が前記所定の時間以上であるとき、前記現フレームの画像を非参照フレームとして前記動画像符号化部に符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化部に符号化させる画像記録装置である。
本発明によれば、符号量の増加を抑制することができる。
本実施形態に係る画像記録装置の機能構成の一例を示すブロック図である。 本実施形態に係る画像記録装置の動作例を示す説明図である。 本実施形態に係る画像記録処理の一例を示すフローチャートである。 本実施形態に係る画面表示の一例を示す図である。 本実施形態に係る画像記録装置の機能構成の他の例を示すブロック図である。
以下、本発明の実施形態に係る画像記録装置、画像記録方法及びプログラムについて、図面を参照しながら説明する。
図１は、本実施形態に係る画像記録装置１０の機能構成の一例を示すブロック図である。
画像記録装置１０は、画像を撮像し、撮像した画像を示す画像データを符号化し、符号化により得られる符号化データを記録する。画像記録装置１０は、動画像と静止画像を撮像し、記録可能とする。また、画像記録装置１０は、動画像の撮像中に静止画像を撮像することを可能としてもよい。画像記録装置１０は、専用の撮像装置（カメラ）であってもよいし、他の機能を有する電子機器、例えば、多機能携帯電話機、タブレット端末装置、などとして実装されてもよい。
画像記録装置１０は、静止画像の撮像が指示される指示時点から次の非参照フレーム（後述）までの期間が所定の期間内であるとき、当該次の非参照フレームの静止画像を記録する。画像記録装置１０は、指示時点から次の非参照フレームまでの期間が所定の期間を超えるとき、指示時点におけるフレームの画像を静止画像として記録させ、当該フレームの画像を非参照フレームとして動画像符号化を行わせる。
画像記録装置１０は、操作部１０１と、第１撮像部１０２と、第２撮像部１０３と、制御部１０４と、動画像符号化部１０５と、静止画像符号化部１０６と、記録部１０７と、画像復号部１１１と、表示部１１２と、通信部１１３と、を含んで構成される。
操作部１０１は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成し、生成した操作信号を制御部１０４に出力する。操作部１０１は、例えば、ボタン、ダイヤル、レバーなど、操作を受け付ける部材を含んで構成される。操作部１０１は、表示部１１２に重ね合わせて実装されたタッチセンサであってもよい。操作部１０１に対する操作により、画像記録装置１０が有する機能を制御する。例えば、動画像の撮像もしくは撮像停止、静止画像の撮像、記録された動画像の表示もしくは表示停止、静止画像の表示、などが指示されうる。
第１撮像部１０２は、視野範囲内に所在する被写体を表す画像を撮像し、撮像した画像を表す第１画像データを動画像符号化部１０５に出力する。以下の説明では、第１撮像部１０２が撮像した画像を第１画像と呼ぶ。第１画像は、所定のフレーム毎に撮像される画像で形成される動画像である。第１撮像部１０２は、光学系と、撮像素子と、信号処理部とを備える（図示せず）。光学系は、対物レンズを備える。対物レンズは自部に入射する画像光を収束し、撮像素子の表面に入射させる。撮像素子は、その表面に複数のセルを水平方向及び垂直方向に一定周期で配列して構成される。ここで、水平方向、垂直方向とは、光学系の光学軸に対して垂直な面内に形成される撮像領域の一辺の方向、他辺の方向である。他辺の方向は、一辺の方向に直交する方向である。セルは、各１個の画素に対応し、受光素子を有する。受光素子は、受光した光の強度に応じた電圧を信号値として有する電気信号を生成する。受光素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ－Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化物半導体）などである。
信号処理部は、所定のフレーム周期（例えば、１／３０秒）毎に第１画像を示す第１画像データを生成する。第１画像は、画素毎の信号値で表される。第１撮像部１０２の光学系は、広範な画角（視野角とも呼ばれる、例えば、１３５°）を有する。また、第１撮像部１０２の光学系は、広範な被写界深度を有し、合焦制御（自動焦点制御、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓｉｎｇ）制御、ピント合わせ、などとも呼ばれる）を行わずにパンフォーカス（ディープフォーカス、とも呼ばれる）を実現してもよい。
第２撮像部１０３は、画像を撮像し、撮像した画像を表す第２画像データを静止画像符号化部１０６に出力する。以下の説明では、第２撮像部１０３が撮像した画像を第２画像と呼ぶ。第２画像は、撮像が指示された時点での静止画像である。第２撮像部１０３は、第１撮像部１０２と同様に、光学系と、撮像素子と、信号処理部と、を備える。但し、第２撮像部１０３の光学系の画角は、第１撮像部１０２の光学系の画角よりも狭くてもよい。また、第２撮像部１０３の光学系の被写界深度は、第１撮像部１０２の光学系の被写界深度よりも浅くてもよい。
第２撮像部１０３は、対物レンズと撮像素子との間の距離を可変にする合焦制御部（図示せず）を備えてもよい。第２撮像部１０３の信号処理部は、撮像素子に撮像される第２画像を示す第２画像データを生成し、合焦制御部に出力する。第２画像は、画素毎の信号値で表される。合焦制御部は、第２画像データが示す画素毎の信号値に基づいて合焦の度合い（以下、合焦度、と呼ぶ）を示す合焦評価値を算出し、合焦評価値が示す合焦度がより高くなるように対物レンズの位置を変更することによって合焦制御を行う。合焦評価値は、例えば、第２画像の所定の空間周波数未満の低域成分の強度と、所定の空間周波数以上の高域成分の強度を算出し、低域成分の強度に対する高域成分の強度の比である。合焦制御部は、合焦度が極大となる対物レンズの位置を特定する。信号処理部に合焦制御の完了を示す合焦完了信号を第２撮像部１０３の信号処理部に出力する。第２撮像部１０３の信号処理部は、撮像制御部１２１から静止画像の撮像を指示する撮像制御信号が入力されるとき、所定のシャッタースピード（露光時間、とも呼ばれる）の期間、受光して得られる第２画像を示す第２画像データを静止画像符号化部１０６に出力する。
なお、第２撮像部１０３の撮像素子は、撮像の指示がなされるか否かに関わらず、第２画像を撮像してもよい。そして、合焦制御部は撮像される第２画像に対して合焦制御を実行してもよい。
制御部１０４は、画像記録装置１０の各部の動作を制御する。制御部１０４は、撮像制御部１２１と、表示制御部１２２と、を含んで構成される。制御部１０４は、１個又は複数個のプロセッサ（例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））を含むコンピュータとして構成されてもよい。制御部１０４は、予め記憶媒体に記憶されたプログラムに記述された命令で指示される処理を実行して、撮像制御部１２１と表示制御部１２２の機能を実現してもよい。これらの部材の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、プロセッサは、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行してもよい。
撮像制御部１２１は、操作部１０１から入力される操作信号に基づいて撮像に係る機能を制御する。撮像制御部１２１は、例えば、操作信号に基づいて第１撮像部１０２と動画像符号化部１０５による動画像の撮像もしくは撮像停止、第２撮像部１０３と静止画像符号化部１０６による静止画像の撮像を制御する。
表示制御部１２２は、操作部１０１から入力される操作信号に基づいて表示に係る機能を制御する。表示制御部１２２は、例えば、操作信号に基づいて、画像復号部１１１と表示部１１２による動画像の表示もしくは表示停止、静止画像の表示などを制御する。撮像制御部１２１及び表示制御部１２２が実行する処理の例については、後述する。
動画像符号化部１０５は、第１撮像部１０２から入力される第１画像データに対して符号化処理を行い、第１符号化データを生成する。符号化処理において、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）－１、ＭＰＥＧ－４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＭＰＥＧ－Ｈ ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などのいずれかの規格で規定された動画像復号方式に対応する符号化方式が採用されてもよい。これらの符号化方式で符号化することで、第１画像の情報量を圧縮することができる。動画像符号化部１０５は、生成した第１符号化データを記録部１０７に順次記録する。
静止画像符号化部１０６は、第２撮像部１０３から入力される第２画像データに対して符号化処理を行い、第２符号化データを生成する。各１回の符号化処理は、１フレームの静止画像を表す第２画像データとなる。符号化処理において、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）、ＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）などのいずれかの規格で規定された静止画像符号化方式が採用されてもよい。これらの静止画像符号化方式で符号化することで、第２画像の情報量を圧縮することができる。静止画像符号化部１０６は、生成した第２符号化データを記録部１０７に記録する。静止画像符号化部１０６は、第２符号化データを記録部１０７に記録する際、その第２画像と同時に撮像された第１画像のフレームと対応付けてもよい。
記録部１０７は、第１画像を表す第１符号化データと第２画像を表す第２符号化データを記録する。記録部１０７は、電力の供給を停止しても記録されたデータが消去されないフラッシュメモリなどの不揮発性メモリであればよい。記録部１０７は、画像記録装置１０の筐体（図示せず）に固定されていてもよいし、筐体から着脱可能な記録媒体とその記録媒体を装着するインタフェースとから構成されてもよい。着脱可能な記録媒体として、例えば、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードが採用されてもよい。
画像復号部１１１は、制御部１０４の制御により第１符号化データ又は第２符号化データを復号する。例えば、制御部１０４は、操作部１０１から画像の表示と表示対象の画像を指示する操作信号が入力されるとき、その画像を示す第１符号化データ又は第２符号化データの復号を示す復号制御信号を生成する。画像復号部１１１は、制御部１０４から復号制御信号が示す第１符号化データ又は第２符号化データを記録部１０７から読み出す。復号制御信号が第１符号化データを指示するとき、画像復号部１１１は、第１符号化データを復号して第１画像データを生成し、生成した第１画像データを表示部１１２に出力する。第１符号化データの復号に用いられる復号方式は、第１符号化データの符号化に用いられた動画符号化方式に対応する復号方式であればよい。
画像復号部１１１は、復号制御信号が第２符号化データを指示するとき、読み出した第２符号化データを復号して第２画像データを生成し、生成した第２画像データを表示部１１２に出力する。
第２符号化データの復号に用いられる復号方式は、第２符号化データの符号化に用いられた静止画像符号化方式に対応する復号方式であればよい。
表示部１１２は、制御部１０４の制御に基づいて各種の視覚情報を表示する。表示部１１２は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機エレクトロルミネッセンスディスプレイ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などのいずれであってもよい。
画像復号部１１１から第１画像データが入力されるとき、表示部１１２は、第１画像データが示す第１画像（動画像）を表示する。画像復号部１１１から第２画像データが入力されるとき、表示部１１２は、第２画像データが示す第２画像（静止画像）を表示する。
なお、第１撮像部１０２は、操作部１０１からの第１画像の表示を示す操作信号の入力に応じて、制御部１０４から第１画像の表示を指示する表示制御信号が入力されるとき、第１画像データを表示部１１２に出力してもよい。表示部１１２は、第１画像の撮像中に、その第１画像（動画像）を表示する。
通信部１１３は、所定の通信方式を用いて、無線又は有線で他の機器と通信を行う。通信部１１３は、例えば、通信インタフェースである。例えば、制御部１０４は、操作部１０１から画像の送信、送信対象の画像及び送信先の機器を指示する操作信号が入力されるとき、その画像を示す第１符号化データ又は第２符号化データの送信先の機器への送信を示す通信制御信号を生成する。通信部１１３は、制御部１０４から通信制御信号が入力されるとき、通信制御信号で指示される第１符号化データと第２符号化データの一方又は双方のデータを記録部１０７から読み出し、読み出したデータを、通信制御信号で指示される送信先の機器（図示せず）に送信する。送信先の機器は、画像記録装置１０から取得したデータを復号する復号部と、復号により得られる画像データに基づく画像を表示する表示部を備えるものであってもよい。
（動作例）
次に、ユーザ操作に応じた画像記録装置１０の動作例について説明する。
図２に示す例は、主に撮像に係る画像記録装置１０の動作を示す。図２の横軸は、時刻ｔを示す。図２に対して右方ほど時間が経過していることを示す。図２では上から下の順に、ユーザ操作、制御部１０４（撮像制御部１２１）、動画像符号化部１０５及び静止画像符号化部１０６の状態を示す。
時刻ｔ０において、操作部１０１へのユーザ操作により電源の供給開始（電源ＯＮ）が指示されるとき、画像記録装置１０の電源ユニット（図示せず）は制御部１０４を含む各部に電源の供給を開始する。その後、各部が起動する。
時刻ｔ１において、ユーザ操作に応じて動画像の撮像開始を指示する操作信号が操作部１０１から入力されるとき、制御部１０４の撮像制御部１２１は、動画像の撮像開始を示す撮像制御信号を第１撮像部１０２に出力する。第１撮像部１０２は、動画像である第１画像の撮像を開始し、撮像した第１画像を示す第１画像データの動画像符号化部１０５への出力を開始する。動画像符号化部１０５は、第１撮像部１０２から入力される第１画像データの符号化を開始する。動画像符号化部１０５は、符号化により得られた第１符号化データを記録部１０７に順次記録する。
動画像は、一般に複数の画像からなる系列で表される。個々の画像はフレームと呼ばれる。複数のフレームからなる系列は、フレームの種類としてフレーム内予測フレームと、フレーム間予測フレームとを含む。フレーム内予測フレームは、符号化または復号においてフレーム内予測の実行対象となるフレームである。フレーム内予測は、他のフレームの画像を参照せずに処理対象のフレーム内の処理済みの画素の信号値から処理対象の画素の信号値を定める処理であり、イントラ予測とも呼ばれる。フレーム内予測フレームは、Ｉフレームとも呼ばれる。Ｉフレームの画像が、上記のＩピクチャに相当する。
フレーム間予測フレームは、符号化または復号においてフレーム間予測の実行対象となるフレームである。フレーム間予測は、他の処理済みのフレームの復号画像を参照して処理対象のフレームの画像に係る画素毎の信号値を定める処理であり、インタ予測とも呼ばれる。フレーム間予測には、順方向予測と双方向予測とがある。順方向予測とは、参照先のフレームが処理対象フレームよりも過去のフレームである予測方式である。双方向予測とは、参照先のフレームが処理対象フレームよりも過去のフレームと未来のフレームの両者である予測方式である。順方向予測の対象となるフレーム、そのフレームに係る画像は、それぞれＰフレーム、Ｐピクチャと呼ばれる。双方向予測の対象となるフレーム、そのフレームに係る画像は、それぞれＢフレーム、Ｂピクチャと呼ばれる。なお、符号化もしくは復号の過程におけるＢフレームに対する予測処理では、過去の複数フレームを参照画像として参照することもある。
動画像符号化部１０５は、上述の符号化方式に基づいて２以上の所定のフレーム数からなるフレームのグループを単位として符号化処理を実行する。各グループは、個々のフレーム種別の系列からなる。このグループは、例えば、ＭＰＥＧ－４ ＡＶＣにおいてＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）またはＭＰＥＧ－Ｈ ＨＥＶＣにおいてＳＯＰ（Ｓｔｒｕｃｔｕｒｅ ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれる。各１個のグループには、少なくとも１個の非参照フレームが含まれる。非参照フレームは、Ｉフレームの一種であり、過去のグループ内のフレーム間予測フレームでのフレーム間予測の際に参照されないフレームである。非参照フレームは、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）フレームと呼ばれる。非参照フレームは、通例、そのグループの先頭のフレームとなる。グループ内の、その他のフレームは、Ｉフレーム、ＰフレームまたはＢフレームのいずれかとなる。非参照フレームは、そのフレームが属するグループの他のフレーム予測フレームでのフレーム間予測において参照されることがありうる。図２の「Ｉ」は、非参照フレームを示す。一般に、Ｉピクチャはその符号化データだけで符号化できる反面、その情報量は、ＰピクチャもしくはＢピクチャの符号化データの情報量よりも多い。符号化データの情報量を抑制して圧縮率を高くするために、グループ内のＩフレームの数は、Ｐフレームの数またはＢフレームの数よりも少ないことが通例である。但し、Ｉフレームの数が多い方が符号化データを復号して得られる復号画像の画質や、符号化データに混入されるエラーへの耐性が向上する傾向がある。
本実施形態では、動画像符号化部１０５に予め所定の参照画像情報を設定しておき、特に操作等による指示がない限り、所定の参照画像情報を用いてグループ毎に符号化処理を繰り返す。参照画像情報は、所定の数のフレームからなるグループにおいて、個々のフレームの種類を示す情報である。参照画像情報には、フレームの種類がＰフレームまたはＢフレームであるフレームについて参照先のフレームを示す参照先フレーム情報を含む。従って、特段の指示がなければ非参照フレームが所定の繰り返し周期ＴＩ毎に繰り返される。
次に、時刻ｔ２においてユーザ操作に応じて静止画像の撮像（静止画像撮像１）を指示する操作信号が操作部１０１から入力されるときを仮定する。このとき、撮像制御部１２１は、静止画像の撮像が指示されたと判定する。撮像制御部１２１は、静止画像の撮像が指示される時点である指示時点から次のＩＤＲフレームまでの期間（以下、ＩＤＲフレーム待機期間と呼ぶ）が所定の期間以下であるとき、そのＩＤＲフレームの時点で第２撮像部１０３に静止画像を撮像させる。
他方、動画像符号化部１０５は、自部に設定されている参照画像情報に係るフレームの繰り返し周期のうち、その時点における処理対象のフレームの順序を特定する。動画像符号化部１０５は、繰り返し周期内において特定した順序に基づいて、ＩＤＲフレーム待機期間Ｔ２を定めることができる。動画像符号化部１０５は、定めたＩＤＲフレーム待機期間Ｔ２を撮像制御部１２１に通知する。また、動画像符号化部１０５は、その時点における処理対象のフレームの種別がＩＤＲフレームである場合、そのフレームの種別がＩＤＲフレームであることを示すＩＤＲ情報を制御部１０４に出力する。
撮像制御部１２１は、動画像符号化部１０５から入力されるＩＤＲフレーム待機期間Ｔ２が予め自部に設定されたＩＤＲフレーム待機期間の閾値ΔＴを超えるとき、次のＩＤＲフレームを待機せずに、その時点におけるフレームの画像を第２撮像部１０３に静止画像として記録させる。このとき、撮像制御部１２１は、撮像指示信号を第２撮像部１０３に出力する。第２撮像部１０３は、撮像制御部１２１から撮像指示信号が入力されるとき、第２画像を示す第２画像データを生成し、生成した第２画像データを静止画像符号化部１０６に出力する。静止画像符号化部１０６は、第２撮像部１０３から入力される第２画像データに対して符号化処理を行って第２符号化データを生成し、生成した第２符号化データを記録部１０７に記録する。
ＩＤＲフレーム待機期間の閾値ΔＴは、静止画像の撮像の指示から現実に撮像に至るまでに許容される遅延時間（例えば、０．２～１．０秒）以内であればよい。
併せて、撮像制御部１２１は、その時点におけるフレームａをＩＤＲフレームとし、そのフレームに係る第２画像データを動画像符号化部１０５に符号化させる。このとき、撮像制御部１２１は、ＩＤＲ挿入要求信号を動画像符号化部１０５に出力する。ＩＤＲ挿入要求信号は、ＩＤＲフレームとしての符号化を指示する信号である。
動画像符号化部１０５は、撮像制御部１２１からＩＤＲ挿入要求信号が入力されるとき、その時点で符号化対象とするフレームをＩＤＲフレームとして定め、そのフレームをＩＤＲフレームとして符号化する。また、動画像符号化部１０５は、そのフレームの画像を符号化して得られる第１符号化データに、そのフレームを先頭とする第２参照画像情報とを対応付けて記録部１０７に記憶する。動画像符号化部１０５には、予め複数通りのフレーム数のそれぞれに係る第２参照画像情報を設定しておいてもよい。第２参照画像情報に係るフレーム数は、ＩＤＲ待機期間の閾値ΔＴよりも長く、かつ繰り返し周期ＴＩよりも短いＩＤＲ待機期間内のフレーム数に相当する。
動画像符号化部１０５は、ＩＤＲ挿入要求信号が入力されたフレームから、次の繰り返し周期のＩＤＲフレームの直前のフレームまでのフレーム数を特定し、特定したフレーム数に係る第２参照画像情報を選択し、選択した第２参照画像情報を示す符号を第１符号化データの一部として記録部１０７に記憶する。動画像符号化部１０５は、その時点から現繰り返し周期内の各フレームについて、選択した第２参照画像情報で指示されるフレームの種類に対応する予測方式を用いて符号化処理を行う。その予測方式がフレーム間予測である場合には、動画像符号化部１０５は、第２参照画像情報が示す対象フレームに対して設定された参照先フレームを用いてフレーム間予測を行う。そして、動画像符号化部１０５は、次のＩＤＲフレームから予め設定された繰り返し周期に係る所定の参照画像情報を用いて符号化処理を再開してもよい。
次に、時刻ｔ３においてユーザ操作に応じて静止画像の撮像（静止画像撮像２）を指示する操作信号が操作部１０１から入力されることを仮定する。このときも、撮像制御部１２１は、静止画像の撮像が指示されたと判定する。撮像制御部１２１は、静止画像の撮像が指示される時点である指示時点から次のＩＤＲフレームまでの期間が所定の期間以下であるとき、次のＩＤＲフレームの時点で第２撮像部１０３に静止画像を撮像させる。
より具体的には、撮像制御部１２１は、動画像符号化部１０５から入力されるＩＤＲフレーム待機期間Ｔ３が予め自部に設定された所定のＩＤＲフレーム待機期間ΔＴ以下であるとき、処理対象のフレームが次にＩＤＲフレームになるまで待機する。ここで、撮像制御部１２１は、動画像符号化部１０５からのＩＤＲ情報の待ち状態をセットする。撮像制御部１２１は、ＩＤＲ情報の待ち状態がセットされている間、動画像符号化部１０５からのＩＤＲ情報の入力を待機する。撮像制御部１２１は、動画像符号化部１０５からＩＤＲ情報が入力されるとき、セットしたＩＤＲ情報の待ち状態を解除する。その後、撮像制御部１２１は、静止画像の撮像を指示するための撮像指示信号を第２撮像部１０３に出力する。
第２撮像部１０３は、撮像制御部１２１から撮像指示信号が入力されるとき、ＩＤＲフレーム待機期間Ｔ３の経過後、第２画像を撮像する。第２撮像部１０３は、撮像した第２画像を示す第２画像データを生成し、生成した第２画像データを静止画像符号化部１０６に出力する。静止画像符号化部１０６は、第２撮像部１０３から入力される第２画像データに対して符号化処理を行って第２符号化データを生成し、生成した第２符号化データを記録部１０７に記録する。
次に、時刻ｔ４においてユーザ操作に応じて動画像の撮像停止を指示する操作信号が操作部１０１から入力されるとき、撮像制御部１２１は、第２撮像部１０３に動画像の撮像停止を指示する撮像制御信号を出力する。第２撮像部１０３は、撮像制御部１２１から撮像制御信号が入力されるとき、動画像である第２画像の撮像を停止するとともに、第２画像を示す第２画像データの出力を停止する。撮像制御部１２１は、動画像符号化部１０５に符号化処理の停止を指示する符号化制御信号を出力する。動画像符号化部１０５は、撮像制御部１２１から符号化制御信号が入力されるとき、第２画像データに対する符号化処理を停止する。
時刻ｔ5において、操作部１０１へのユーザ操作により電源の供給停止（電源ＯＦＦ）が指示されるとき、制御部１０４は、各部の動作を停止し電源ユニットは制御部１０４を含む各部への電源の供給を停止し、各部の動作が停止する。
（画像記録処理）
次に、本実施形態に係る画像記録処理について説明する。
図３は、本実施形態に係る画像記録処理の一例を示すフローチャートである。
（ステップＳ１０２）撮像制御部１２１は、操作部１０１から入力される操作信号に基づき、動画像の撮像開始が指示されたか否かを判定する。撮像開始が指示されるとき（ステップＳ１０２ ＹＥＳ）、ステップＳ１０４の処理に進む。撮像開始が指示されないとき（ステップＳ１０２ ＮＯ）、ステップＳ１０２の処理を繰り返す。
（ステップＳ１０４）撮像制御部１２１は、操作部１０１から入力される操作信号に基づき、静止画像の撮像が指示されたか否かを判定する。撮像が指示されるとき（ステップＳ１０４ ＹＥＳ）、ステップＳ１０６の処理に進む。撮像が指示されないとき（ステップＳ１０４ ＮＯ）、ステップＳ１１４の処理に進む。
（ステップＳ１０６）撮像制御部１２１は、第１撮像部１０２からＩＤＲフレーム待機期間Ｔを取得する。その後、ステップＳ１０８の処理に進む。
（ステップＳ１０８）撮像制御部１２１は、ＩＤＲフレーム待機期間Ｔが所定のＩＤＲフレーム待機期間の閾値ΔＴ以下であるか否かを判定する。ＩＤＲフレーム待機期間Ｔが閾値ΔＴ以下であるとき（ステップＳ１０８ ＹＥＳ）、ステップＳ１１０の処理に進む。ＩＤＲフレーム待機期間Ｔが閾値ΔＴを超えるとき（ステップＳ１０８ ＮＯ）、ステップＳ１１２の処理に進む。
（ステップＳ１１０）撮像制御部１２１は、動画像符号化部１０５からのＩＤＲ情報の待ち状態をセットする。その後、ステップＳ１２２の処理に進む。
（ステップＳ１１２）撮像制御部１２１は、ＩＤＲ挿入要求信号を動画像符号化部１０５に出力する。動画像符号化部１０５は、撮像制御部１２１からＩＤＲ挿入要求信号が入力されるとき、その時点で符号化対象とするフレームをＩＤＲフレームとして定める。その後、ステップＳ１２０の処理に進む。
（ステップＳ１１４）撮像制御部１２１は、その時点において動画像符号化部１０５からのＩＤＲ情報の待ち状態を設定しているか否かを判定する。待ち状態を設定している場合（ステップＳ１１４ ＹＥＳ）、ステップＳ１１６の処理に進む。待ち状態を設定していない場合（ステップＳ１１４ ＮＯ）、ステップＳ１２２の処理に進む。
（ステップＳ１１６）撮像制御部１２１は、動画像符号化部１０５からＩＤＲ情報が入力されたか否かを判定する。ＩＤＲ情報が入力されるとき（ステップＳ１１６ ＹＥＳ）、ステップＳ１１８の処理に進む。ＩＤＲ情報が入力されないとき（ステップＳ１１６ ＮＯ）、ステップＳ１２２の処理に進む。
（ステップＳ１１８）撮像制御部１２１は、セットしたＩＤＲ情報の待ち状態を解除（クリア）する。待ち状態が解除された状態では、撮像制御部１２１は、動画像符号化部１０５からＩＤＲ情報を待ち受けずに棄却してもよい。その後、ステップＳ１２０の処理に進む。
（ステップＳ１２０）撮像制御部１２１は、静止画像の撮像を示す撮像制御信号を第２撮像部１０３に出力する。第２撮像部１０３は、第２画像を撮像する。静止画像符号化部１０６は、第２画像を示す第２画像データを符号化し、符号化により得られる第２符号化データを記録部１０７に記録する。その後、ステップＳ１２２の処理に進む。
（ステップＳ１２２）動画像符号化部１０５は、第１撮像部１０２から入力される第１符号化データを符号化し、符号化により得られる第１符号化データを記録部１０７に記録する。その後、処理対象のフレームを次のフレームに進め、ステップＳ１０４の処理に進む。
図２、図３に示す例では、動画像符号化部１０５が自律的にＩＤＲフレーム待機期間を撮像制御部１２１に通知する場合を例にしたが、これには限られない。撮像制御部１２１は、静止画像の撮像を指示する操作信号が入力されるとき、ＩＤＲフレーム待機期間の照会を示す第１照会信号を動画像符号化部１０５に出力してもよい。
動画像符号化部１０５は、第１照会信号に対する応答として、その時点で定めたＩＤＲフレーム待機期間Ｔを撮像制御部１２１に通知する。
（画像表示）
次に、画像記録装置１０が撮像した画像の表示例について説明する。
図４は、本実施形態に係る、画像記録装置１０が撮像した画像の表示例を示す図である。
表示制御部１２２は、動画像の表示を指示する操作信号が入力されるとき、所定のビューアＶｗ０１を表示部１１２に表示させ、操作信号で指示される動画像を示す第１符号化データを記録部１０７から画像復号部１１１に読み出させる。画像復号部１１１は、第１符号化データと対応付けて記憶された静止画像を表す第２符号化データと、第１符号化データと対応付けられた時刻を示す時刻情報を読み出す。時刻情報は、第１符号化データが示す動画像の冒頭の時点を基準とする時刻、つまり冒頭からの経過時間として表された再生時点であってもよい。画像復号部１１１は、読み出した第２符号化データを復号して静止画像を示す第２画像データを生成する。生成した第２画像データと時刻情報を表示制御部１２２に出力する。画像復号部１１１は、第２符号化データの復号の際、符号化の際に用いた符号化方式に対応する復号方式を用いる。
ビューアＶｗ０１は、その大部分が動画像ＭＩ０１を表示するための表示領域で占められ、その表示領域と重ならない下端部にプログレスバーＳｂ０１を表示する。プログレスバーＳｂ０１は、動画の再生状況を視覚的に表すとともに、再生開始点を操作により指示するための画面部品である。図４に示す例では、プログレスバーＳｂ０１の長手方向は水平方向に向けられ、その長さが動画像全体の再生時間を表す。プログレスバーＳｂ０１は、ポインタＰｔ０１を有する。表示制御部１２２は、画像復号部１１１から通知される再生時点に対応する位置にポインタＰｔ０１を表示させる。プログレスバーＳｂ０１の左端からポインタＰｔ０１の表示位置までの距離が、動画の冒頭から再生時点までの経過時間を表す。そして、表示制御部１２２は、操作部１０１から入力される操作信号が示される位置にポインタＰｔ０１の表示位置を変更し、変更した表示位置に対応する再生時点から動画の再生を指示する。
表示制御部１２２は、プログレスバーＳｂ０１が示す動画像の再生時間のうち、画像復号部１１１から入力された第２画像データが示す第２画像を所定の大きさに縮小して得られる縮小画像をサムネイルとして生成する。表示制御部１２２は、入力された時刻情報が示す時刻に対応する位置に生成したサムネイルを表示させる。図４に示すサムネイルＳＩ０１、ＳＩ０２、ＳＩ０３の表示位置は、それぞれの第２画像が撮像された時刻に対応する位置である。この時刻におけるフレームの第１画像は、第２画像と共通の絵柄を表す。
表示制御部１２２は、表示されたサムネイルのいずれかの押下を検知するとき、画像復号部１１１に対して、そのサムネイルの位置に対応する再生時点から第１符号化データの復号を開始させる。ここで、押下とは、その表示領域内の座標を示す操作信号が操作部１０１から入力されることの意味を含む。画像復号部１１１は、第１符号化データを復号して得られる第１画像データを逐次に表示部１１２に出力する。表示部１１２は、画像復号部１１１から入力される第１画像データが示す第１画像（動画像）を表示する。
従って、ユーザは、操作によってサムネイルを指示するとき、指示されたサムネイルの表示位置に対応する再生時点から、動画像である第１画像を表示部１１２に表示させることができる。サムネイルの基礎となる第２画像が符号化ならびに記録されたされた時点の第１画像のフレームはＩＤＲフレームとなる。そのため、画像復号部１１１は、ＩＤＲフレームを冒頭とし、それ以降の第１符号化データの復号を行うことができる。ここで、画像復号部１１１には、予め上述の参照画像情報と第２参照画像情報を設定しておき、第１符号化データに含まれる符号で指示される第２参照画像情報を特定する。画像復号部１１１は、特定した第２参照画像情報を参照して、第１符号化データをフレーム毎に復号する。
このとき、画像復号部１１１は、そのＩＤＲフレームよりも過去のフレームの符号化データを用いずに、そのＩＤＲフレームから第１符号化データを復号することができる。画像復号部１１１は、フレーム間予測フレームの第１符号化データを復号する際、処理対象の第１符号化データの一部を一時的に記憶するためのデータバッファを備えていなければならない。本実施形態では、ＩＤＲフレーム待機期間が所定のＩＤＲフレーム待機期間以下であるとき、処理対象のフレームが次にＩＤＲフレームになるまで待機するので、任意に指示されたタイミングでＩＤＲフレームが生成される場合よりも、ＩＤＲフレームが生成される契機が抑制される。そのため、データバッファとして要求される容量の増大を抑制することができる。第１符号化データの復号は、画像復号部１１１に限らず、他の機器が実行する可能性がある。他の機器では、データバッファとして要求される容量を設定する際、ＩＤＲフレームやその他のＩフレームの頻度が考慮されているとは限らない。そのため、本実施形態によれば、他の機器におけるデータバッファの容量を超えるリスクを低減することができる。また、ＩＤＲフレーム待機期間が所定のＩＤＲフレーム待機期間を超えるとき、次のＩＤＲフレームを待機することなく第１符号化データの復号を即座に開始することができる。
（変形例）
上記の説明では、静止画像の撮像がユーザの操作により指示される場合を例にしたが、これには限られない。図５に示すように、制御部１０４は、撮像判定部１２４を備えてもよい。
撮像判定部１２４は、第１撮像部１０２から入力される第１画像データが示す第１画像の撮像対象の適格性を示す評価値を算出し、算出した評価値が所定の評価値の閾値よりも高いか否かにより、第２画像の撮像の要否を判定する。より具体的には、撮像判定部１２４は、公知のパターン認識処理を用いて評価値を算出することができる。
パターン認識処理において、例えば、深層学習モデル、Ａｄａｂｏｏｓｔなどの機械学習モデルを利用することができる。深層学習モデルは、入力層と２層以上の中間層と出力層を有するニューラルネットワークを構成する数理モデルである。入力層、各中間層、出力層は、それぞれ複数の入力端、節点（ノード）、出力端を有する。各入力端は、入力される入力値を第１の中間層の各節点に出力値として出力する。中間層の各節点は、より下位の層の節点からそれぞれ入力される入力値を線形結合して合成値を算出し、算出した合成値に対して所定の活性化関数を用いて出力値を算出する。但し、入力端を第０層の節点とみなす。中間層の各節点は、算出した出力値をより上位の層の各節点に出力する。但し、出力端を最上位の中間層の節点とみなす。各出力端は、最上位の中間層の各節点からの出力値を入力値として線形結合して得られる合成値を、出力値として出力する。活性化関数として、例えば、シグモイド関数、双曲線正接（ｔａｎｈ：ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ）関数、などが利用可能である。従って、深層学習モデルは、中間層の各節点において入力値を線形結合するための線形結合係数、各節点の活性化関数のパラメータ、出力端において入力値を線形結合するための線形結合係数をパラメータとして含んで構成される。以下の説明では、機械学習モデルを構成するパラメータをモデルパラメータと呼ぶ。
撮像判定部１２４は、評価値を算出する際、次に説明する第１評価処理と第２評価処理のいずれか一方又は両方を実行する。
第１評価処理では、撮像判定部１２４は、第１画像データに基づいて第１機械学習モデルを用いて第１撮像評価値を算出する。第１撮像評価値は、評価画像が表す主たる被写体が特定の認識対象物である可能性を示す値である。認識対象物の候補は、例えば、人物、動物、花、球技に用いられるボールなどである。認識対象物の候補は、特定の表情（例えば、笑い）を表す人物の顔面であってもよい。第１機械学習モデルを構成するモデルパラメータは、第１評価処理を実行する前に予め生成（学習）し、撮像判定部１２４に設定しておく。学習に用いる教師データとして、被写体を表す画像を示す画像データが用いられる。第１機械学習モデルのモデルパラメータの学習は、モデル学習部（図示せず）が行う（オフライン処理）。画像記録装置１０はモデル学習部を備えてもよいし、備えなくともよい。撮像判定部１２４は、第１機械学習モデルのモデルパラメータを画像記録装置１０とは別個の外部機器（例えば、サーバ装置）から取得してもよい。
第１機械学習モデルのモデルパラメータの学習は、次のステップＳ１１とステップＳ１２（図示せず）を含む。
（ステップＳ１１）モデル学習部は、既知の被写体を表す画像の教師データに対して、第１機械学習モデルを作用して既知の認識対象物の候補毎に第１撮像評価値を算出する。第１機械学習モデルとして深層学習モデルを用いる場合、モデル学習部は、例えば、教師データが示す画素毎の信号値に基づいて各入力端への入力値を定める。モデル学習部は、画素毎の信号値を入力値として用いてもよいし、その信号値に基づいて得られる画像特徴量を構成する要素値を入力値として用いてもよい。画像特徴量として、例えば、画素毎のエッジ方向、画素毎の信号値の勾配などが利用可能である。モデル学習部は、定めた入力値に対して深層学習モデルを用いて算出される各出力端からの出力値を、その出力端に対応する認識対象物の候補の第１撮像評価値として定める。
（ステップＳ１２）モデル学習部は、教師データが表す既知の被写体と同じ種類の認識対象物の候補について算出される第１撮像評価値が所定の第１の正値（例えば、１）となり、その被写体と異なる種類の認識対象物の候補について得られる第１撮像評価値が所定の第２の正値以下になるまでモデルパラメータを逐次に更新する。所定の第２の正値として、第１の正値よりも十分にゼロに近似した正の実数を用いる。よって、深層学習モデルを用いて算出される特定の認識対象物の候補に対する第１撮像評価値は、その値が大きいほど、被写体がその認識対象物である可能性が高いことを示す。モデルパラメータの学習において、十分に多数（例えば、数千～数万）の異なる教師データが用いられる。
撮像判定部１２４は、評価画像に対して、第１機械学習モデルを作用して第１撮像評価値を算出する（オンライン処理）。第１機械学習モデルとして深層学習モデルを用いる場合、撮像判定部１２４は、学習の際と同様の手法を用いて、評価画像を示す画素毎の信号値に基づいて各入力端への入力値を定める。撮像判定部１２４は、入力値に対する深層学習モデルの出力端からの出力値を、その出力端に対応する認識対象物の候補の第１撮像評価値として算出する。
第１撮像評価値を算出するステップには、認識対象物の候補が表されている領域とその候補の形状を探索する探索過程が含まれていてもよい。探索過程は、例えば、予め設定された複数通りの線形変換係数の候補毎に、その線形変換係数を用いて線形変換を行って修正された評価画像に対して、第１機械学習モデルを作用して第１撮像評価値を算出し、最も大きい第１撮像評価値を与える線形変換係数を特定する処理を含む。この線形変換係数は、認識対象物の候補が表されている領域と形状に依存する。そのため、線形変換係数を特定することで認識対象物が表されている領域と形状が特定される。
第２評価処理を行わない場合には、撮像判定部１２４は、認識対象物の候補毎に算出した第１撮像評価値のうち、最も第１撮像評価値が大きい認識対象物の候補を認識対象物として特定し、その第１撮像評価値を撮像評価値として定める。
第２評価処理では、撮像判定部１２４は、評価画像の構図が良好である程度を示す評価値を算出する。構図の良否に影響する要素は、例えば、背景を含む評価画像の全体に対して主たる被写体が表されている領域の位置、その大きさ、主たる被写体と背景の色彩、その濃淡などである。モデル学習部は、第２評価処理に用いる第２機械学習モデルのモデルパラメータを予め学習し、撮像判定部１２４に設定しておく。学習に用いる教師データとして、主たる被写体と背景を表す画像を示す画像データが用いられる。
第２機械学習モデルのモデルパラメータの学習は、次のステップＳ２１とステップＳ２２（図示せず）を含む。
（ステップＳ２１）モデル学習部は、教師データに対して、第２機械学習モデルを作用して第２撮像評価値を算出する。第２機械学習モデルとして深層学習モデルを用いる場合、モデル学習部は、教師データが示す画素毎の信号値に基づいて各入力端への入力値を定める。モデル学習部は、定めた入力値に対して深層学習モデルを用いて算出される出力端からの出力値を第２撮像評価値として定める。
（ステップＳ２２）モデル学習部は、第２撮像評価値がその教師データが表す画像に対して与えられた得点との差の二乗値が所定の二乗値以下になるように、第２機械学習モデルを構成するモデルパラメータを更新する。所定の二乗値は、０に十分に近似した正値であればよい。得点は、例えば、その画像に対して人間が主観的に判断した良否を表す値である。得点は、良好と判断される場合に１とし、良好と判断されないとき０とする２段階の値であってもよい。また、得点は、良好であるほど大きい３段階以上の多段階の値であってもよい。
撮像判定部１２４は、評価画像に対して、第２機械学習モデルを作用して第２撮像評価値を算出する（オンライン処理）。第２機械学習モデルとして深層学習モデルを用いる場合、撮像判定部１２４は、学習の際と同様の手法を用いて、評価画像を示す画素毎の信号値に基づいて各入力端への入力値を定める。撮像判定部１２４は、入力値に対する深層学習モデルの出力端からの出力値を、第２撮像評価値として算出する。
上述の例では、第２評価処理が、第１評価処理とは独立に、第２機械学習モデルとして深層学習モデルを用いて評価画像に対して第２撮像評価値を算出する過程を含む場合を例にしたが、これには限られない。撮像判定部１２４は、第２評価処理として、第２機械学習モデルを用いずに第１評価処理の処理結果である認識対象物が表されている領域（以下、対象物領域、と呼ぶ）に基づいて第２撮像評価値を算出する過程を含んでもよい。撮像判定部１２４は、例えば、対象物領域のうち所定の第２評価領域内に含まれる部分の比率が大きいほど高くなるように、第２撮像評価値を定める。但し、第２評価領域として、評価領域と重心が共通であって、形状が相似形であり、一辺の径が評価領域よりも小さい（例えば、評価領域の一辺の０．２～０．６倍）領域を予め撮像判定部１２４に設定しておく。これにより予め設定された被写体の対象物領域が、予め定められた大きさの第２評価領域内（例えば、評価領域の中央部）にあるほど、高くなる第２撮像評価値が算出される。このように算出される第２撮像評価値は、例えば、認識対象物である人物が評価領域の中央部に大写しになるほど高くなる。
また、撮像判定部１２４には、認識対象物の種類、対象物領域の大きさならびに位置の組毎に第２撮像評価値を示す第２撮像評価データを予め設定してもよい。撮像判定部１２４は、設定された第２撮像評価データを参照して第１評価処理において得られた認識対象物の種類、対象物領域の大きさならびに位置の組に対応する第２撮像評価値を特定してもよい。
なお、第１評価処理を行わない場合には、撮像判定部１２４は、算出した第２撮像評価値を撮像評価値として定める。
第１評価処理と第２評価処理の両方を行う場合には、撮像判定部１２４は、第１撮像評価値と第２撮像評価値に、それぞれに対応する所定の重み係数を乗算し、乗算により得られる乗算値の総和を撮像評価値として算出する。
その他、上記の説明では、ＩＤＲフレーム待機期間の閾値ΔＴが一定である場合を例にしたが、可変であってもよい。
撮像制御部１２１は、その時点のフレームの第１画像の動画像の動き量が大きいほど、短くなるように閾値ΔＴを定めてもよい。撮像制御部１２１には、予め動き量と対応付けて閾値ΔＴを示す待機期間制御データを設定しておき、その時点における動き量に対応付けられた閾値ΔＴを特定することができる。
撮像制御部１２１は、第１画像の動き量の指標値として、動画像符号化部１０５が符号化の過程でブロック毎に算出した動きベクトルの大きさの代表値を採用することができる。代表値として、フレーム内のブロック間の平均値、最頻値、最大値のいずれかを利用することができる。
なお、動画像符号化部１０５は、第１画像の動きを検出する際、現フレームの第１画像を区分した対象ブロック毎に、参照画像内のブロックとの間でブロックマッチングを行う。動画像符号化部１０５は、対象ブロックに表される模様と最も近似する模様を表すブロックを対応ブロックとして検出する。ブロックマッチングにおいて、模様の近似の度合いを示す評価値として、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ、差分絶対値和）が利用可能である。ＳＡＤは、その値が小さいほど近似の度合いが高いことを示す指標値である。そして、動画像符号化部１０５は、対象ブロック毎に検出した参照画像内の対応ブロックからの位置の変位（ずれ）を動きベクトルとして定める。現フレームと参照画像のフレーム（以下、参照フレームと呼ぶ）は、必ずしも隣接しているとは限らず、２フレーム以上離れていることもある。動画像符号化部１０５は、ブロック毎の動きベクトルの絶対値を、現フレームと参照フレームとのフレーム間隔で正規化し、正規化して得られた値を動きベクトルの大きさとして撮像制御部１２１に出力する。
なお、上記では撮像制御部１２１が、動画像符号化部１０５が符号化の過程でブロック毎に算出した動きベクトルを取得し、その動きベクトルの大きさの代表値を第１画像の動き量の指標値として採用する場合を例にしたが、これには限られない。制御部１０４は、第１撮像部１０２から入力される第１撮像部１０２から入力される第１画像データが表す第１画像の動き（オプティカルフロー）を解析する動画像解析部（図示せず）を備えてもよい。動画像解析部は、例えば、上記のように、現フレームの第１画像を区分した対象ブロック毎に、過去のフレーム（例えば、現フレームの直前のフレーム）の第１画像を参照画像とし、参照画像内のブロックとの間でブロックマッチングを行って、対象ブロックに表される模様と最も近似する模様を表す参照画像内のブロックを対応ブロックとして検出する。動画像解析部は、対象ブロック毎に検出した対応ブロックからの位置の変位を動きベクトルとして定め、その動きベクトルの大きさを撮像制御部１２１に出力する。撮像制御部１２１は、動画像符号化部１０５に代えて、動画像解析部が定めた動きベクトルの大きさに基づいて第１画像の動き量の指標値を求める。符号化の過程において、Ｉピクチャについてはフレーム間予測が行われないため、動きベクトルが取得されない。しかしながら、動画像解析部を備えることで、符号化対象のフレームがＩピクチャである場合でも、動画像符号化部１０５に頼らずに第１画像の動き量を定量化することができる。
また、画像記録装置１０が撮像判定部１２４を備える場合には、撮像制御部１２１は、第１画像の動き量の指標値として、主たる認識対象物が表される領域である認識領域と重複するブロック間の動きベクトルの大きさの代表値を算出してもよい。この動きベクトルの大きさは、参照画像から現フレームまでの認識領域内に表された被写体の変位量に相当する。撮像判定部１２４は、上記の第１評価処理を行う過程で認識領域を特定することができる。撮像判定部１２４は、特定した認識領域を撮像制御部１２１に出力し、撮像制御部１２１は、指標値を算出する際、その認識領域の情報を利用することができる。これにより、撮像制御部１２１は、主たる被写体の動き量に基づいて閾値ΔＴを定めることができる。
また、撮像制御部１２１は、画像記録装置１０自体の移動量が大きいほど、短くなるように閾値ΔＴを定めてもよい。撮像制御部１２１には、予め移動量と対応付けて閾値ΔＴを示す待機期間制御データを設定しておき、その時点における移動量に対応付けられた閾値ΔＴを特定することができる。
移動量を検出するために、画像記録装置１０は、さらに加速度検出部（図示せず）を備えてもよい。加速度検出部は、例えば、３軸の加速度センサである。加速度検出部は、各感度軸方向の加速度を検出し、検出した加速度を撮像制御部１２１に出力する。そして、撮像制御部１２１は、加速度検出部から入力される各感度軸方向の加速度の重み付き移動平均値を重力成分として算出する。撮像制御部１２１は、加速度検出部から入力される加速度から重力成分を差し引いて加速度の移動成分を算出し、算出した加速度の移動成分を時間積分して得られる速度成分の感度軸方向間の二乗和の平方根を移動量として算出する。これにより、画像記録装置１０の移動量に基づいて閾値ΔＴが定められる。
なお、図１、図５に示す例では、第１撮像部１０２と第２撮像部１０３は別個であるが、画像記録装置１０は、少なくとも１個の撮像部（図示せず）を備えていればよい。１個の撮像部は、動画像である第１画像と静止画像である第２画像の撮像に共用されてもよい。
動画像符号化部１０５は、共用される１個の撮像部が撮像した画像を動画像として示す第１画像データを符号化し、静止画像符号化部１０６は、その撮像部が撮像した画像を静止画像として示す第２画像データを符号化する。
また、画像記録装置１０は、収音部、音声符号化部、音声復号部及び再生部（図示せず）を備えてもよい。収音部は、自部に到来する音声を収音し、収音した音声を示す音声データを音声符号化部に出力する。音声符号化部は、収音部から入力される音声データを符号化して音声符号化データを生成する。音声符号化部は、音声符号化データを第１符号化データと対応付けて記録部１０７に記録してもよい。制御部１０４は、画像復号部に第１画像に対応する音声の再生を示す制御信号を音声復号部に出力するとき、音声復号部は記録部から制御信号で指示される音声符号化データを読み出す。音声復号部は、読み出した音声符号化データに対して復号処理を行って音声データを生成し、生成した音声データを再生部に出力する。再生部は、音声復号部が入力される音声データに基づいて音声を再生する。
以上に説明したように本実施形態に係る画像記録装置１０は、動画像を形成する各フレームの画像を符号化する動画像符号化部１０５と、制御部１０４と、を備える。動画像を形成するフレームの系列は、動画像符号化部１０５がフレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含む。また、そのフレームの系列は、フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含む。制御部１０４は、静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームまで待機し、待機期間が所定の時間を超えるとき、当該フレームの画像を非参照フレームとして前記動画像符号化部に符号化させる。
この構成により、待機期間が所定の時間以下である場合には、次の非参照フレームまで待機して、指示時点におけるフレームを非参照フレームとして符号化が行われない。そのため、一律に非参照フレームとして符号化を行う場合よりも、非参照フレームの増加に伴う符号化データの増加が抑制される。そのため、復号過程において符号化データがバッファ容量を超えるために、正常に画像が再生されなくなるリスクが低減する。画像記録装置１０が記録した第１符号化データおよび第２符号化データは、他の電子機器において復号される可能性があるが、かかるリスクは、画像記録装置１０の仕様を考慮せずに定めたバッファ容量を有する他の電子機器において生じる可能性が高い。
また、制御部１０４は、動画像の動き量が大きいほど、所定の時間を短くしてもよい。
一般に、動画像の動き量が大きいほど、撮像が指示される時点から非参照フレームとして符号化するまでの絵柄の変動が大きくなるので、待機期間として許容される時間が短くなる。許容される待機期間に連動して所定の時間を短くすることで、より意図に沿った非参照フレームの画像を記録することができる。
動画像符号化部１０５は、フレーム間予測フレームにおいて、ブロック毎に動きベクトルを定め、制御部１０４は、動きベクトルに基づいてその動き量を定める。
この構成により、動き量を定める際に動画像の符号化の過程で算出される動きベクトルを利用することができるので、処理量の増大を抑制することができる。
制御部１０４は、各フレームの画像から所定の被写体を認識し、被写体の表示領域におけるブロック毎の動きベクトルの代表値を前記動き量として定めてもよい。
この構成により、動き量を定める際に、動画像に表された所定の被写体の表示領域における動きベクトルが用いられるので、その被写体の動きに応じて所定の時間が定められる。
また、画像記録装置１０は、加速度を検出する加速度検出部を備えてもよい。制御部１０４は、加速度検出部が検出した加速度に基づいて自装置の動き量を定め、自装置の動き量が大きいほど、所定の時間を短くする。
撮像中における画像記録装置１０の動き量が大きいほど、撮像される動画像の絵柄の変動が大きくなるので、待機期間として許容される時間が短くなる。待機期間に連動して所定の時間を短くすることで、より意図に沿った非参照フレームの画像を記録することができる。
制御部１０４は、動画像の撮像対象としての適格性を示す評価値を算出し、算出した評価値に基づいて静止画像の撮像の要否を判定する。
この構成により、動画像に基づいて撮像対象としての適格性が定量的に評価され、評価された適格性に基づいて静止画像の撮像の要否が判定される。そのため、判定結果に基づいて一律に非参照フレームとして符号化を行う場合よりも、非参照フレームの増加に伴う符号化データの増加が抑制される。
なお、上記の実施形態において、閾値（例えば、閾値ΔＴ）に対する大小判断において、「以上」、「以下」として、その閾値を含めた判断を行うか、「より大きい」、「より小さい」、「超える」、「超えない」、「上回る」、「下回る」、「未満」などとして、その閾値を含めずに判断をするかは、任意である。例えば、「以上」を「より大きい」、「超える」または「上回る」に読み替えてもよいし、「以下」を「より小さい」、「超えない」、「下回る」または「未満」に読み替えてもよい。
なお、画像記録装置１０の一部、例えば、制御部１０４、動画像符号化部１０５、静止画像符号化部１０６、画像復号部１１１のそれぞれ、又はそれらの任意の組み合わせは、ＣＰＵなどのプロセッサを含むコンピュータとして構成され、予め記憶媒体に記憶されたプログラムに記述された命令で指示される処理を実行して、それらの機能を実現してもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
また、上述した実施形態における画像記録装置１０の一部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｌｅｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの部材を含んで構成されてもよい。画像記録装置１０の一部の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩなどに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。
１０…画像記録装置、１０１…操作部、１０２…第１撮像部、１０３…第２撮像部、１０４…制御部、１０５…動画像符号化部、１０６…静止画像符号化部、１０７…記録部、１１１…画像復号部、１１２…表示部、１１３…通信部、１２１…撮像制御部、１２２…表示制御部、１２４…撮像判定部

Claims (8)

  1. 動画像を形成する各フレームの画像を符号化する動画像符号化部と、
    静止画像を符号化する静止画像符号化部と、
    制御部と、を備え、
    前記動画像を形成するフレームの系列は、
    前記動画像符号化部がフレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含み、かつ、
    前記系列は、前記フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含み、
    前記制御部は、
    静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化部に符号化させ、
    前記待機期間が前記所定の時間を超えるとき、前記指示時点における現フレームの画像を非参照フレームとして前記動画像符号化部に符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化部に符号化させ、または
    前記待機期間が前記所定の時間未満であるとき、前記次の非参照フレームに対応する静止画像を前記静止画像符号化部に符号化させ、
    前記待機期間が前記所定の時間以上であるとき、前記現フレームの画像を非参照フレームとして前記動画像符号化部に符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化部に符号化させる
    画像記録装置。
  2. 前記制御部は、
    前記動画像の動き量が大きいほど、前記所定の時間を短くする
    請求項１に記載の画像記録装置。
  3. 前記制御部は、
    前記現フレームの少なくとも一部のブロックにおける画像の他フレームからの動きを示す動きベクトルを取得し、
    前記動きベクトルに基づいて前記動き量を定める
    請求項２に記載の画像記録装置。
  4. 前記制御部は、
    前記各フレームの画像から所定の被写体を認識し、
    前記被写体の表示領域におけるブロック毎の動きベクトルの代表値を前記動き量として定める
    請求項２に記載の画像記録装置。
  5. 加速度を検出する加速度検出部を備え、
    前記制御部は、
    前記加速度に基づいて自装置の動き量を定め、
    自装置の動き量が大きいほど、前記所定の時間を短くする
    請求項１に記載の画像記録装置。
  6. 前記制御部は、
    前記動画像の撮像対象としての適格性を示す評価値を算出し、
    前記評価値が所定の閾値よりも高いとき前記静止画像の撮像が指示されたと判定する
    請求項１から請求項５のいずれか一項に記載の画像記録装置。
  7. 画像記録装置における画像記録方法であって、
    動画像を形成する各フレームの画像を符号化する動画像符号化過程と、
    静止画像を符号化する静止画像符号化過程と、
    制御過程と、を有し、
    前記動画像を形成するフレームの系列は、
    前記動画像符号化過程において、フレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含み、かつ、
    前記系列は、前記フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含み、
    前記制御過程は、
    静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化過程において符号化させ、
    前記待機期間が前記所定の時間を超えるとき、前記指示時点における現フレームの画像を非参照フレームとして前記動画像符号化過程において符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化過程において符号化させる、または
    前記待機期間が前記所定の時間未満であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化過程において符号化させ、
    前記待機期間が前記所定の時間を以上であるとき、前記現フレームの画像を非参照フレームとして前記動画像符号化過程において符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化過程において符号化させる
    画像記録方法。
  8. 画像記録装置のコンピュータに、
    動画像を形成する各フレームの画像を符号化する動画像符号化手順と、
    静止画像を符号化する静止画像符号化手順と、
    制御手順と、を実行させ、
    前記動画像を形成するフレームの系列は、
    前記動画像符号化手順において、フレーム内予測を行って符号化するフレーム内予測フレームと、他のフレームの画像を参照画像として参照してフレーム間予測を行って符号化するフレーム間予測フレームとを含み、かつ、
    前記系列は、前記フレーム内予測フレームのうち、過去のフレーム間予測フレームのフレーム間予測において参照されない非参照フレームを所定周期毎に含み、
    前記制御手順は、
    静止画像の撮像が指示される指示時点から次の非参照フレームまでの待機期間が所定の時間以下であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化手順において符号化させ、
    前記待機期間が前記所定の時間を超えるとき、前記指示時点における現フレームの画像を非参照フレームとして前記動画像符号化手順において符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化手順において符号化させる、または
    前記待機期間が前記所定の時間未満であるとき、当該次の非参照フレームに対応する静止画像を前記静止画像符号化手順において符号化させ、
    前記待機期間が前記所定の時間を以上であるとき、前記現フレームの画像を非参照フレームとして前記動画像符号化手順において符号化させるとともに、前記現フレームに対応する静止画像を前記静止画像符号化手順において符号化させる
    プログラム。
JP2018101560A 2018-05-28 2018-05-28 画像記録装置、画像記録方法およびプログラム Active JP7077141B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018101560A JP7077141B2 (ja) 2018-05-28 2018-05-28 画像記録装置、画像記録方法およびプログラム
CN201910424880.8A CN110545367B (zh) 2018-05-28 2019-05-21 图像记录装置、图像记录方法以及记录介质
US16/419,469 US10616526B2 (en) 2018-05-28 2019-05-22 Image recording apparatus, image recording method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018101560A JP7077141B2 (ja) 2018-05-28 2018-05-28 画像記録装置、画像記録方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019208103A JP2019208103A (ja) 2019-12-05
JP7077141B2 true JP7077141B2 (ja) 2022-05-30

Family

ID=68613572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018101560A Active JP7077141B2 (ja) 2018-05-28 2018-05-28 画像記録装置、画像記録方法およびプログラム

Country Status (3)

Country Link
US (1) US10616526B2 (ja)
JP (1) JP7077141B2 (ja)
CN (1) CN110545367B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122821B2 (ja) * 2017-12-15 2022-08-22 川崎重工業株式会社 ロボットシステム及びロボット制御方法
JP7459506B2 (ja) * 2019-12-24 2024-04-02 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法
CN111259215B (zh) 2020-02-14 2023-06-27 北京百度网讯科技有限公司 基于多模态的主题分类方法、装置、设备、以及存储介质
JP2021132305A (ja) * 2020-02-20 2021-09-09 シャープ株式会社 画像符号化装置および画像符号化方法
US20230110503A1 (en) * 2020-02-24 2023-04-13 Nokia Technologies Oy Method, an apparatus and a computer program product for video encoding and video decoding
CN113099270B (zh) * 2021-04-07 2023-03-24 浙江大华技术股份有限公司 文件存储方法及解码方法、装置、存储介质、电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181164A (ja) 2005-11-29 2007-07-12 Matsushita Electric Ind Co Ltd 画像再生装置
JP2015119231A (ja) 2013-12-16 2015-06-25 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3182289B2 (ja) 1994-04-06 2001-07-03 三洋電機株式会社 画像記録方法及び画像記録装置
KR101391661B1 (ko) * 2010-05-12 2014-05-07 니폰덴신뎅와 가부시키가이샤 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램
JP5914871B2 (ja) * 2011-10-19 2016-05-11 パナソニックＩｐマネジメント株式会社 通信端末及び符号化レート低減方法
WO2014010300A1 (ja) * 2012-07-10 2014-01-16 ソニー株式会社 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
US10148983B2 (en) * 2015-09-25 2018-12-04 Qualcomm Incorporated Methods and systems of improved video stream switching and random access

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181164A (ja) 2005-11-29 2007-07-12 Matsushita Electric Ind Co Ltd 画像再生装置
JP2015119231A (ja) 2013-12-16 2015-06-25 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法

Also Published As

Publication number Publication date
CN110545367B (zh) 2021-03-23
CN110545367A (zh) 2019-12-06
US20190364242A1 (en) 2019-11-28
JP2019208103A (ja) 2019-12-05
US10616526B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
JP7077141B2 (ja) 画像記録装置、画像記録方法およびプログラム
CN103988490B (zh) 图像处理装置、图像处理方法和记录介质
US10410061B2 (en) Image capturing apparatus and method of operating the same
JP5293206B2 (ja) 画像検索装置、画像検索方法及びプログラム
US20100214445A1 (en) Image capturing method, image capturing apparatus, and computer program
JP4839908B2 (ja) 撮像装置、自動焦点調整方法、およびプログラム
JP2011097576A (ja) 撮像装置
JP2008294737A (ja) 画像処理装置及びプログラム
CN104702826A (zh) 摄像设备及其控制方法
JP5888614B2 (ja) 撮像装置、映像コンテンツ生成方法、及び、プログラム
JP2009260892A (ja) 画像処理装置及びその制御方法及びプログラム
JP5375846B2 (ja) 撮像装置、自動焦点調整方法、およびプログラム
KR101782997B1 (ko) 디지털 촬영 장치 및 이의 전력 제어 방법
JP5990903B2 (ja) 画像生成装置
JP4850111B2 (ja) 画像表示装置およびそれを搭載した撮像装置
JP2010081115A (ja) 画像処理装置及び画像処理方法及びプログラム
KR101476650B1 (ko) 디지털 영상 처리기에서 연속 촬영된 영상 데이터 처리장치 및 방법
JP6103481B2 (ja) 撮像装置、及びその制御方法とプログラム
JP6223160B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP4157003B2 (ja) 画像処理装置
JP2007049449A (ja) 画像記録装置
JP2019212938A (ja) 撮像装置、撮像方法およびプログラム
JP5109866B2 (ja) 撮像装置、撮像方法及びプログラム
JP4651103B2 (ja) 画像処理装置、画像処理方法
JP2019193152A (ja) 撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220518

R150 Certificate of patent or registration of utility model

Ref document number: 7077141

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150