JP5720170B2 - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法およびプログラム Download PDF

Info

Publication number
JP5720170B2
JP5720170B2 JP2010233320A JP2010233320A JP5720170B2 JP 5720170 B2 JP5720170 B2 JP 5720170B2 JP 2010233320 A JP2010233320 A JP 2010233320A JP 2010233320 A JP2010233320 A JP 2010233320A JP 5720170 B2 JP5720170 B2 JP 5720170B2
Authority
JP
Japan
Prior art keywords
data
encoded data
synchronization signal
size
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010233320A
Other languages
English (en)
Other versions
JP2012089971A (ja
Inventor
高雄 猪野
高雄 猪野
孝至 片居木
孝至 片居木
雅信 西村
雅信 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010233320A priority Critical patent/JP5720170B2/ja
Priority to US13/137,772 priority patent/US9432673B2/en
Priority to CN201110317162.4A priority patent/CN102547253B/zh
Publication of JP2012089971A publication Critical patent/JP2012089971A/ja
Application granted granted Critical
Publication of JP5720170B2 publication Critical patent/JP5720170B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像処理装置に関し、特に、静止画データを扱う画像処理装置、画像処理システムおよびこれらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物や風景等の被写体を撮像して画像データを生成し、この生成された画像データを画像コンテンツ(画像ファイル)として記録するデジタルスチルカメラ、デジタルビデオカメラ(例えば、カメラ一体型レコーダ)等の撮像装置が普及している。
また、画像データを生成するためのカメラモジュール(例えば、撮像装置)を備え、その生成された画像データを扱うことが可能な携帯電話装置等の画像処理装置が普及している。このような携帯電話装置では、例えば、カメラモジュールにより生成された画像データが携帯電話装置のホスト側に出力され、ホスト側において画像データの出力制御や記録制御が行われる。
例えば、送信側が、無効データの付与によりJPEGデータのサイズを固定として送信し、受信側が、JPEGデータから無効データを除去してJPEGデータのみを抽出する携帯電話装置が提案されている(例えば、特許文献1(図5)参照。)。
特開2008−92292号公報
上述の従来技術によれば、サイズが可変長となるJPEGデータを、YUVフォーマットに準拠したシステムで送信することができる。ただし、このようにJPEGデータに無効データを付与して固定長のサイズとして送信する場合には、JPEGデータの大小にかかわらず同じ送信時間がかかることになる。
ここで、近年では、カメラモジュールが備える撮像素子の画素数が増加する傾向にあり、カメラモジュールを備える携帯電話装置等の画像処理装置により扱うことが可能な画像データのサイズが大きくなってきている。例えば、カメラモジュールにより生成された画像データは、記録用として大きいサイズのまま扱われたり、電子メール添付用として小さいサイズにして扱われたりすることが想定される。
しかしながら、上述の従来技術では、符号化データの大小にかかわらず同じ送信時間がかかるため、例えば、小さいサイズの符号化データについても、大きいサイズの符号化データと同じ時間をかけて送信される。このため、例えば、小さいサイズの符号化データを連続して送信するような場合には、そのサイズに比較して送信時間が長くなる。このため、符号化データの大小に応じて、符号化データの伝送を効率的に行うことが重要である。
本発明はこのような状況に鑑みてなされたものであり、符号化データの伝送を効率的に行うことを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、符号化データを取得して当該符号化データの出力制御または記録制御を行う取得部と、画像データを生成する生成部と、上記取得部からの出力要求に応じて上記生成された画像データを符号化して上記符号化データを生成する符号化部と、上記生成された符号化データを上記取得部に出力する出力部と、上記生成された符号化データを上記取得部に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、上記決定された各サイズを当該符号化データの出力前に上記取得部に通知し、当該通知後に上記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを上記出力部に出力させる制御を行う制御部とを具備し、上記制御部は、上記垂直同期信号および上記水平同期信号のそれぞれのサイズにより特定されるデータ量が上記生成された符号化データのデータ量以上となる上記垂直同期信号および上記水平同期信号のそれぞれのサイズのうち最小のサイズの組合せを決定する画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、取得部からの出力要求に応じて生成された符号化データを取得部に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちからその符号化データのデータ量に応じた各サイズを決定し、この決定された各サイズをその符号化データの出力前に取得部に通知し、この通知後にその決定されたサイズに係る垂直同期信号および水平同期信号に従ってその符号化データを出力させるという作用をもたらす。
また、本発明の第2の側面は、符号化データを取得して当該符号化データの出力制御または記録制御を行う取得部と、画像データを生成する生成部と、上記取得部からの出力要求に応じて上記生成された画像データを符号化して上記符号化データを生成する符号化部と、上記生成された符号化データを上記取得部に出力する出力部と、上記生成された符号化データを上記取得部に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、上記決定された各サイズを当該符号化データの出力前に上記取得部に通知し、当該通知後に上記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを上記出力部に出力させる制御を行う制御部と、上記垂直同期信号のサイズおよび上記水平同期信号のサイズの組合せを複数保持する保持部とを具備し、上記制御部は、上記組合せに係るサイズにより特定されるデータ量が上記生成された符号化データのデータ量以上となる上記組合せのうち上記特定されるデータ量が最小となる組合せに係るサイズを決定する画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、取得部からの出力要求に応じて生成された符号化データを取得部に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちからその符号化データのデータ量に応じた各サイズを決定し、この決定された各サイズをその符号化データの出力前に取得部に通知し、この通知後にその決定されたサイズに係る垂直同期信号および水平同期信号に従ってその符号化データを出力させるという作用をもたらす。
また、この第1の側面において、上記生成部は、被写体を撮像して上記画像データを生成するようにしてもよい。これにより、被写体を撮像して画像データを生成するという作用をもたらす。
また、この第1の側面において、上記生成部は、上記被写体を連続して撮像することにより時系列で連続する複数の上記画像データを生成し、上記符号化部は、上記生成された複数の画像データを順次符号化して複数の上記符号化データを生成し、上記制御部は、上記垂直同期信号および上記水平同期信号のそれぞれのサイズを上記生成された符号化データ毎に決定して上記決定された各サイズを当該符号化データ毎に上記取得部に通知し、当該通知されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データ毎の上記取得部への出力制御を行うようにしてもよい。これにより、被写体を連続して撮像することにより時系列で連続する複数の画像データを生成し、この生成された複数の画像データを順次符号化して複数の符号化データを生成し、垂直同期信号および水平同期信号のそれぞれのサイズを符号化データ毎に決定し、この決定された各サイズを符号化データ毎に取得部に通知し、この通知されたサイズに係る垂直同期信号および水平同期信号に従って符号化データ毎の取得部への出力制御を行うという作用をもたらす。
また、この第1の側面において、上記符号化部は、JPEG方式に従って上記生成された画像データを符号化して上記符号化データを生成するようにしてもよい。これにより、JPEG方式に従って画像データを符号化して符号化データを生成するという作用をもたらす。
また、この第1の側面において、上記符号化部は、上記生成された画像データに基づいてJPEGファイルを構成する本画像に係る符号化データおよび上記JPEGファイルを構成するサムネイル画像に係る符号化データを生成し、上記制御部は、上記垂直同期信号および上記水平同期信号のそれぞれのサイズを上記JPEGファイルを構成する符号化データ毎に決定して上記決定された各サイズを当該符号化データ毎に上記取得部に通知し、当該通知されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データ毎の上記取得部への出力制御を行うようにしてもよい。これにより、JPEGファイルを構成する本画像に係る符号化データおよびサムネイル画像に係る符号化データを生成し、垂直同期信号および水平同期信号のそれぞれのサイズを符号化データ毎に決定し、この決定された各サイズを符号化データ毎に取得部に通知し、この通知されたサイズに係る垂直同期信号および水平同期信号に従って符号化データ毎の取得部への出力制御を行うという作用をもたらす。
また、この第1の側面において、上記決定された各サイズにより特定されるデータ量となるように上記生成された符号化データに無効データを付与して出力データを生成する無効データ付与部をさらに具備し、上記制御部は、上記通知後に上記決定されたサイズに従って上記生成された出力データを上記出力部に出力させる制御を行うようにしてもよい。これにより、決定された各サイズにより特定されるデータ量となるように、生成された符号化データに無効データを付与して出力データを生成し、その決定された各サイズの通知後にその決定されたサイズに従って、その生成された出力データを出力させるという作用をもたらす。
また、この第1の側面において、上記制御部は、上記水平同期信号のサイズとして固定サイズを決定し、上記垂直同期信号のサイズとして上記生成された符号化データのデータ量に応じたサイズを決定するようにしてもよい。これにより、水平同期信号のサイズとして固定サイズを決定し、垂直同期信号のサイズとして、生成された符号化データのデータ量に応じたサイズを決定するという作用をもたらす。
また、本発明の第の側面は、符号化データを取得して当該符号化データの出力制御または記録制御を行う取得装置と、画像データを生成する生成部と、上記取得装置からの出力要求に応じて上記生成された画像データを符号化して符号化データを生成する符号化部と、上記生成された符号化データを上記取得装置に出力する出力部と、上記生成された符号化データを上記取得装置に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、上記決定された各サイズを当該符号化データの出力前に上記取得装置に通知し、当該通知後に上記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを上記出力部に出力させる制御を行う制御部とを備え、上記制御部は、上記垂直同期信号および上記水平同期信号のそれぞれのサイズにより特定されるデータ量が上記生成された符号化データのデータ量以上となる上記垂直同期信号および上記水平同期信号のそれぞれのサイズのうち最小のサイズの組合せを決定する画像処理装置とを具備する画像処理システムおよびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、取得装置からの出力要求に応じて生成された符号化データを取得装置に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちからその符号化データのデータ量に応じた各サイズを決定し、この決定された各サイズをその符号化データの出力前に取得装置に通知し、この通知後にその決定されたサイズに係る垂直同期信号および水平同期信号に従ってその符号化データを出力させるという作用をもたらす。
また、本発明の第4の側面は、符号化データを取得して当該符号化データの出力制御または記録制御を行う取得装置と、画像データを生成する生成部と、上記取得装置からの出力要求に応じて上記生成された画像データを符号化して符号化データを生成する符号化部と、上記生成された符号化データを上記取得装置に出力する出力部と、上記生成された符号化データを上記取得装置に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、上記決定された各サイズを当該符号化データの出力前に上記取得装置に通知し、当該通知後に上記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを上記出力部に出力させる制御を行う制御部と、上記垂直同期信号のサイズおよび上記水平同期信号のサイズの組合せを複数保持する保持部とを備え、上記制御部は、上記組合せに係るサイズにより特定されるデータ量が上記生成された符号化データのデータ量以上となる上記組合せのうち上記特定されるデータ量が最小となる組合せに係るサイズを決定する画像処理装置とを具備する画像処理システムおよびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、取得装置からの出力要求に応じて生成された符号化データを取得装置に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちからその符号化データのデータ量に応じた各サイズを決定し、この決定された各サイズをその符号化データの出力前に取得装置に通知し、この通知後にその決定されたサイズに係る垂直同期信号および水平同期信号に従ってその符号化データを出力させるという作用をもたらす。

本発明によれば、符号化データの伝送を効率的に行うことができるという優れた効果を奏し得る。
本発明の第1の実施の形態における携帯電話装置100のシステム構成例を示すブロック図である。 本発明の第1の実施の形態における撮像素子220により生成される画像信号の流れを模式的に示す図である。 本発明の第1の実施の形態における信号処理部240からホスト110に出力される画像データを模式的に示す図である。 本発明の第1の実施の形態における携帯電話装置100の機能構成例を示すブロック図である。 本発明の第1の実施の形態におけるカメラモジュール120からホスト110に符号化データを送信する場合における符号化データ送信処理を示すシーケンスチャートである。 本発明の第1の実施の形態における信号処理部240により生成される符号化データの出力例を模式的に示す図である。 本発明の第1の実施の形態における携帯電話装置100により生成される画像ファイルの一例を模式的に示す図である。 本発明の第1の実施の形態における信号処理部240からホスト110に送信される符号化データの出力方法の比較例を模式的に示す図である。 本発明の第1の実施の形態におけるカメラモジュール120による符号化データ出力制御処理の処理手順の一例を示すフローチャートである。 本発明の第1の実施の形態におけるカメラモジュール120による符号化データ出力制御処理の処理手順の一例を示すフローチャートである。 本発明の第2の実施の形態におけるホスト110およびカメラモジュール120が保持する同期信号の長さ指示情報テーブルの一例を示す図である。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(送信制御:カメラモジュールからホストに符号化データを送信する場合に、その符号化データに基づく同期信号の長さをカメラモジュールからホストに通知してこの通知後にその同期信号に同期してその符号化データを送信する例)
2.第2の実施の形態(送信制御:同期信号の長さの組合せを複数保持しておき、これらのうちの何れかの組合せに係る同期信号の長さを通知する例)
<1.第1の実施の形態>
[携帯電話装置のシステム構成例]
図1は、本発明の第1の実施の形態における携帯電話装置100のシステム構成例を示すブロック図である。携帯電話装置100は、ホスト110およびカメラモジュール120を備える。このように、携帯電話装置100は、ホスト(受信装置)側とカメラモジュール(送信装置)側との2つに大きく分けることができる。また、カメラモジュール120は、DSP(Digital Signal Processor)200と、撮像素子220と、SDRAM(Synchronous Dynamic Random Access Memory)270とを備える。なお、図1では、携帯電話装置100における他の構成(例えば、撮像素子220およびDSP200間におけるアナログ信号処理部やA/D(Analog/Digital)変換部)についての図示および説明を省略する。また、携帯電話装置100は、特許請求の範囲に記載の画像処理装置および画像処理システムの一例である。
ホスト110は、携帯電話装置側のCPU(Central Processing Unit)に対応するものである。ホスト110は、例えば、カメラモジュール120から符号化データ(最終出力データ)を取得して、その符号化データの出力制御または記録制御を行う。また、ホスト110は、DSP200に内蔵されているCPU230との間でIC(Inter-Integrated Circuit)通信を行うことにより、コマンドやレスポンスのやりとりを行う。このコマンドで撮像条件の設定や撮像の指示等のコマンドを発行する。なお、ホスト110は、特許請求の範囲に記載の取得部および取得装置の一例である。
撮像素子220は、光学系210(図4に示す)から供給された光を光電変換するものであり、その光電変換された画素の電荷を蓄積して信号処理部240に画像信号(画像データ)として出力する。また、撮像素子220は、CPU230からのIC通信により露光時間制御やグローバルシャッタモードの切り替え、指定されたタイミングでのグローバルリセット動作等を行う。例えば、撮像素子220は、CPU230から撮像動作の開始指示が出力された場合には、被写体を撮像して画像データを生成する。また、撮像素子220は、CPU230から連続撮像動作(いわゆる、連写撮影)の開始指示が出力された場合には、被写体を連続して撮像することにより時系列で連続する複数の画像データを生成する。撮像素子220として、例えば、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)を用いることができる。なお、撮像素子220は、特許請求の範囲に記載の生成部の一例である。
DSP200は、CPU230と、信号処理部240と、ROM(Read Only Memory)250と、RAM(Random Access Memory)260とを備え、これらが内部バス234により接続されている。具体的には、DSP200は、ホスト110の制御に基づいて、撮像素子220から供給される画像信号(画像データ)に対して、各種の画像処理を行うものである。
CPU230は、ROM250に格納されているプログラムを実行するものである。なお、CPU230は、特許請求の範囲に記載の制御部の一例である。
信号処理部240は、SDRAM270と接続され、CPU230の制御に基づいて、撮像素子220から供給される画像信号(画像データ)についてカメラ信号処理を行うものである。
ROM250は、CPU230が実行するプログラム等を格納するメモリである。
RAM260は、各種演算結果を一時記憶するメモリである。
SDRAM270は、撮像素子220から読み出された画素毎の画像信号(画像データ)や、信号処理部240による信号処理結果等の画像データを格納するための一時記憶領域である。
[画像データの画像処理例]
図2は、本発明の第1の実施の形態における撮像素子220により生成される画像信号(画像データ)の流れを模式的に示す図である。ここで、図2では、図1に示す各部のうち、主に画像信号の画像処理を行う部分のみを示し、他の部分を省略して示す。また、撮像素子220により生成される画像信号の流れを、太線の矢印で模式的に示す。
図2に示すように、撮像素子220から出力された画像信号(画素毎の画像信号)は、信号処理部240に供給される。続いて、信号処理部240は、撮像素子220から供給された画像信号をSDRAM270に格納し、その画像信号について各種画像処理を行う。そして、各種画像処理が施されてSDRAM270に格納された画像信号は、出力時に信号処理部240により出力フォーマットに応じた処理が再度施され、ホスト110に出力される。
[出力データ量の算出例]
図3は、本発明の第1の実施の形態における信号処理部240からホスト110に出力される画像データを模式的に示す図である。ここで、本発明の第1の実施の形態では、信号処理部240からホスト110に出力される画像データとして、JPEG(Joint Photographic Experts Group)形式の画像データ(JPEGデータ)を用いる例を示す。JPEGデータは、JPEGの符号化方式(圧縮符号化方式)に従って、符号化(圧縮符号化)された画像データ(符号化データ)である。また、図3では、JPEGデータ600を矩形により模式的に示す。また、図3では、JPEGデータ600を参照して、符号化データを出力する際におけるデータ量(出力データ量)の算出方法について説明する。
図3において、横軸には、水平同期信号(HSYNC)601における水平同期区間H1を示し、縦軸には、垂直同期信号(VSYNC)602における垂直同期区間V1を示す。
ここで、出力データ量について説明する。出力データ量は、水平データ数×垂直ライン数で定義される値である。すなわち、出力データ量は、水平同期信号(HSYNC)における水平同期区間に含まれるデータ数と、垂直同期信号(VSYNC)における垂直同期区間に含まれるライン数との積により決定される。例えば、水平同期信号(HSYNC)601における水平同期区間H1に含まれるデータが、1024データクロックであり、1データクロック=1バイト(Byte)の場合、1ラインあたりのデータは、1kバイトとなる。この場合に、垂直同期信号(VSYNC)602における垂直同期区間V1に含まれるライン数が1024本であれば、出力可能なデータは1Mバイトである。このため、水平同期区間H1に含まれるデータが1024データクロックであり、垂直同期区間V1に含まれるライン数が1024本である場合には、符号化データを出力する際における出力データ量は、1Mバイトとなる。
[携帯電話装置の機能構成例]
図4は、本発明の第1の実施の形態における携帯電話装置100の機能構成例を示すブロック図である。ここで、図4では、図1に示す各部のうち、信号処理に関する主要部分を示し、他の部分を省略して示す。携帯電話装置100は、ホスト110と、光学系210と、撮像素子220と、CPU230と、信号処理部240と、SDRAM270と、信号線301乃至311、321乃至323、331、332とを備える。なお、図4では、信号線301乃至311のうち、信号線305乃至310を省略して示す。また、信号処理部240は、符号化データ生成部241と、無効データ付与部242と、符号化データ出力部243とを備える。
ここで、信号処理部240における画像データの流れについて説明する。最初に、撮像素子220により生成された画像データ(画像信号)が信号処理部240に供給され、SDRAM270に格納される。この場合に、例えば、符号化データ生成部241、無効データ付与部242および符号化データ出力部243のそれぞれがSDRAM270から画像データを直接読み込み、処理後の画像データをSDRAM270に順次書き込むことができる。また、例えば、無効データ付与部242および符号化データ出力部243のそれぞれが画像データを前段の処理部から受け取り、処理後の画像データを後段の処理部に受け渡すようにしてもよい。以下では、説明の容易のため、前段の処理部から後段の処理部に画像データを出力するものとして説明する。
信号線301乃至311は、合計11本からなるパラレル方式の信号線である。具体的には、信号線301は、デジタル映像信号のデータクロック(DCK)を出力するための信号線である。また、信号線302は、水平同期信号(HSYNC)を出力するための信号線であり、信号線303は、垂直同期信号(VSYNC)を出力するための信号線である。また、信号線304乃至311は、デジタル映像信号を出力するための信号線である。すなわち、信号線304は、0ビット目のデジタル映像信号を出力するための信号線であり、信号線305(図示せず)は、1ビット目のデジタル映像信号を出力するための信号線である。また、信号線306乃至310(図示せず)についても同様に、2乃至6ビット目のデジタル映像信号を出力するための信号線である。また、信号線311は、7ビット目のデジタル映像信号を出力するための信号線である。
信号線321乃至323は、CPU230が信号処理部240の各部(符号化データ生成部241、無効データ付与部242および符号化データ出力部243)に制御信号を出力するための制御線である。また、信号線321を介して符号化データ生成部241からCPU230に符号化データに関する情報が出力される。
信号線331および332は、ホスト110(制御側(マスタ))とCPU230との間で通信を行うための信号線(IC(制御線))である。具体的には、信号線331は、シリアルクロック線(SCL)であり、同期を取るための信号線である。すなわち、信号線331は、ホスト110からCPU230への一方向の信号線である。また、信号線332は、シリアルデータ線(SDA)であり、ホスト110およびCPU230間におけるデータの転送に用いる信号線である。この信号線332は、送受信により入力および出力の向きが切り替わる双方向の信号線である。例えば、CPU230は、ホスト110から符号化データの出力要求を受けた場合には、この出力要求に応じて、信号処理部240の各部に制御信号を出力する。
光学系210は、複数のレンズと絞りとを備え、被写体からの光を集光して、この集光された光を絞りを介して撮像素子220に供給するものである。
符号化データ生成部241は、CPU230の制御に基づいて、撮像素子220から供給された画像データ(画像信号)を、JPEGの符号化方式に従って符号化データに変換するものであり、その符号化データを無効データ付与部242に出力する。また、符号化データ生成部241は、その符号化データのデータ量をCPU230に信号線321を介して出力する。CPU230は、符号化データ生成部241から出力された符号化データのデータ量に基づいて、その符号化データの同期信号(垂直同期信号および水平同期信号)の長さ(サイズ)を決定する。そして、CPU230は、決定された同期信号の長さに基づいて、その符号化データを出力する際におけるデータ量(出力データ量)を算出し、この出力データ量を無効データ付与部242に信号線322を介して出力する。また、CPU230は、その決定された同期信号の長さを符号化データ出力部243に信号線323を介して出力するとともに、その決定された同期信号の長さをホスト110に信号線332を介して出力する。
すなわち、CPU230は、生成された符号化データに基づいて、その符号化データをホスト110に出力する際に用いられる同期信号(垂直同期信号および水平同期信号)のそれぞれの長さ(サイズ)を決定する。この場合に、CPU230は、垂直同期信号および水平同期信号のそれぞれの長さにより特定されるデータ量が、生成された符号化データのデータ量以上となる垂直同期信号および水平同期信号のそれぞれの長さのうち、最小の長さの組合せを決定する。例えば、垂直同期信号の長さと水平同期信号の長さとの組合せを予め決めておき、この組合せの中から、符号化データをホスト110に出力する際に用いられる同期信号のそれぞれの長さを決定することができる。例えば、垂直同期信号(VSYNC)の長さと水平同期信号(HSYNC)の長さとの組合せとして、次の4つの組合せ((1)乃至(4))を決めておく。
(1)HSYNC=4000、VSYNC=1000
(2)HSYNC=4000、VSYNC=2000
(3)HSYNC=4000、VSYNC=3000
(4)HSYNC=4000、VSYNC=4000
そして、例えば、CPU230は、生成された符号化データのデータ量が、4000000以下である場合には(1)を決定し、4000000よりも大きく8000000以下である場合には(2)を決定する。同様に、CPU230は、生成された符号化データのデータ量が、8000000よりも大きく12000000以下である場合には(3)を決定し、12000000よりも大きく16000000以下である場合には(4)を決定する。すなわち、生成された符号化データのデータ量を出力することができる最小の同期信号(垂直同期信号および水平同期信号)の長さが決定される。また、CPU230は、(1)が決定された場合には、出力データ量として4000000を算出し、(2)が決定された場合には、出力データ量として8000000を算出する。同様に、CPU230は、(3)が決定された場合には、出力データ量として12000000を算出し、(4)が決定された場合には、出力データ量として16000000を算出する。なお、この例では、予め決められている複数の組合せのうちから最適な1つの組合せを選択して決定する例を示したが、生成された符号化データのデータ量に応じた垂直同期信号および水平同期信号のそれぞれの長さを順次計算して決定するようにしてもよい。また、この例では、水平同期信号の長さを固定とする例を示したが、水平同期信号の長さを変更することができる場合には、生成された符号化データのデータ量に基づいて水平同期信号の長さを変更するようにしてもよい。また、CPU230は、その決定された同期信号の各長さをホスト110に通知する。なお、符号化データ生成部241は、特許請求の範囲に記載の符号化部の一例である。
無効データ付与部242は、CPU230の制御に基づいて、符号化データ生成部241から出力された符号化データに無効データを付与するものであり、無効データが付与された符号化データを符号化データ出力部243に出力する。ここで、無効データは、ホスト110が無効なデータとして検出することが可能なデータである。例えば、JPEGフォーマットにおいて規定されているエンドマーカ(EOI(End of Image))以降に、何らかのデータ(無効データ)を記録することにより無効データを付与することができる。また、例えば、JPEGフォーマットにおいて規定されている「予約コード」または「禁止コード」を無効データとして用いるようにしてもよい。
具体的には、無効データ付与部242は、符号化データ生成部241から出力された符号化データのデータ量と、CPU230から出力された出力データ量とを比較して、符号化データのデータ量と出力データ量とが同一であるか否かを判断する。そして、無効データ付与部242は、符号化データのデータ量と出力データ量とが同一でない場合には、その符号化データに無効データを付与し、符号化データと無効データとの和が出力データ量と同一となるようにする。すなわち、無効データ付与部242は、CPU230により決定された同期信号の長さにより特定されるデータ量(出力データ量)となるように、符号化データに無効データを付与する。一方、無効データ付与部242は、符号化データのデータ量と出力データ量とが同一である場合には、その符号化データに無効データを付与しない。この場合には、無効データが付与されない符号化データが符号化データ出力部243に出力される。ここで、無効データ付与部242から出力されるデータ(符号化データ)を最終出力データとする。
符号化データ出力部243は、CPU230の制御に基づいて、CPU230から出力された同期信号(垂直同期信号および水平同期信号)の長さに基づいて、無効データ付与部242から出力された最終出力データを出力するものである。具体的には、符号化データ出力部243は、CPU230から出力された同期信号の長さに応じた垂直同期信号および水平同期信号を形成し、この形成された水平同期信号を信号線302に出力し、この形成された垂直同期信号を信号線303に出力する。また、符号化データ出力部243は、その形成された垂直同期信号および水平同期信号に同期して、最終出力データを信号線304乃至311に出力する。すなわち、CPU230は、決定された同期信号の長さの通知後に、その決定された垂直同期信号および水平同期信号に従って、最終出力データを符号化データ出力部243に出力させる制御を行う。なお、符号化データ出力部243は、特許請求の範囲に記載の出力部の一例である。
また、ホスト110は、CPU230から通知された同期信号の各長さに従って、符号化データ出力部243から出力された最終出力データの取り込みを行う。すなわち、ホスト110は、信号線302および303を介して符号化データ出力部243から出力された垂直同期信号および水平同期信号のタイミングで、符号化データ出力部243から出力された最終出力データの取り込みを行う。そして、ホスト110は、最終出力データを取り込むと、最終出力データに付与されている無効データを検出し、検出された無効データを最終出力データから除去することにより、符号化データのみを抽出する。また、ホスト110は、その抽出された符号化データを静止画コンテンツとして記録媒体(図示せず)に記録させる制御を行う。また、ホスト110は、その記録媒体に記録された静止画コンテンツを表示部(図示せず)に表示させる表示制御やその静止画コンテンツを外部に出力させる出力制御等の出力制御を行う。
[ホストおよびカメラモジュール間における通信例]
図5は、本発明の第1の実施の形態におけるカメラモジュール120からホスト110に符号化データを送信する場合における符号化データ送信処理を示すシーケンスチャートである。図5に示す例では、ホスト110と、カメラモジュール120との関係を概略的に示す。
最初に、ホスト110が、撮像動作を行う際における撮像条件(例えば、画サイズ、露光時間)をカメラモジュール120に指示し(401)、カメラモジュール120がホスト110から指示された撮像条件を取得する(402)。すなわち、撮像条件に係る制御信号がホスト110からカメラモジュール120に信号線332を介して出力され(401)、その撮像条件に係る制御信号をカメラモジュール120が受け付ける(402)。
続いて、ホスト110が、撮像動作を開始するための撮像動作開始指示をカメラモジュール120に通知し(403)、カメラモジュール120がホスト110からの撮像動作開始指示を取得する(404)。すなわち、撮像動作開始指示に係る制御信号がホスト110からカメラモジュール120に信号線332を介して出力され(403)、その撮像動作開始指示に係る制御信号をカメラモジュール120が受け付ける(404)。
続いて、カメラモジュール120がホスト110から指示された撮像条件に基づいて撮像処理を行う(405)。すなわち、撮像素子220により画像信号(画像データ)が生成され、この生成された画像信号が信号処理部240に供給され、SDRAM270に格納される。
続いて、ホスト110が符号化データの出力を指示する符号化データ出力指示をカメラモジュール120に通知し(406)、カメラモジュール120がホスト110からの符号化データ出力指示を取得する(407)。すなわち、符号化データ出力指示に係る制御信号がホスト110からカメラモジュール120に信号線332を介して出力され(406)、その符号化データ出力指示に係る制御信号をカメラモジュール120が受け付ける(407)。
続いて、カメラモジュール120が、撮像処理により生成された画像データを符号化して符号化データを生成する(408)。すなわち、符号化データ生成部241が、その生成された画像データを符号化データに変換する(408)。
続いて、カメラモジュール120が、その符号化データのデータ量に基づいて、その符号化データの同期信号(垂直同期信号および水平同期信号)の長さを決定する(409)。すなわち、CPU230が、その符号化データのデータ量に基づいて、その符号化データの同期信号の長さを決定し、この同期信号の長さに基づいて、その符号化データを出力する際におけるデータ量(出力データ量)を算出する(409)。
続いて、カメラモジュール120が、その算出された同期信号の長さをホスト110に通知し(410)、ホスト110がカメラモジュール120からの同期信号の長さを取得する(411)。すなわち、CPU230が、その算出された同期信号の長さを符号化データ出力部243に信号線323を介して出力するとともに、その算出された同期信号の長さをホスト110に信号線332を介して出力する(410)。そして、ホスト110がその同期信号の長さを取得する(411)。
続いて、カメラモジュール120が、生成された符号化データに無効データを付与して最終出力データを生成する(412)。すなわち、無効データ付与部242が、その生成された符号化データのデータ量と、その生成された符号化データの出力データ量との比較結果に基づいて、その符号化データに無効データを付与して最終出力データを生成する(412)。なお、符号化データのデータ量と出力データ量とが同一である場合には、その符号化データに無効データが付与されない。
続いて、カメラモジュール120が、生成された最終出力データをホスト110に出力する(413)。すなわち、符号化データ出力部243が、CPU230により決定された同期信号(垂直同期信号および水平同期信号)の長さに基づいて、最終出力データをホスト110に出力する(413)。そして、ホスト110がその最終出力データを取得する(414)。
[符号化データの出力例]
図6は、本発明の第1の実施の形態における信号処理部240により生成される符号化データの出力例を模式的に示す図である。すなわち、信号線304乃至311を介して信号処理部240からホスト110に出力されるJPEGデータの出力例を示す。
また、図6では、JPEGデータのデータ量(JPEGデータのサイズ)と、このJPEGデータを送信する際における送信時間との関係を模式的に示す。具体的には、図6では、横軸を、JPEGデータを送信する際における送信時間を示す軸とする。ここで、図6(a)乃至(c)に示す波形471乃至473は、垂直同期信号(VSYNC)に対応するものである。また、図6(a)乃至(c)に示す時間t1およびt2は、1つのJPEGデータを送信する際における送信の開始時から、次のJPEGデータを送信する際における送信の開始時までの時間(送信時間)を示す。また、図6では、JPEGデータのデータ量を、JPEGデータ451、452、461、462を表す各矩形の大きさにより模式的に示す。同様に、図6では、無効データのデータ量を、無効データ463乃至466を表す各L字形状の大きさにより模式的に示す。
図6(a)には、データ量が比較的多いJPEGデータ451および452を出力する場合における出力例を示す。なお、図6(a)では、説明の容易のため、JPEGデータ451および452のサイズを同一とし、無効データを付与しない例を示す。図6(a)に示す例では、JPEGデータ451および452のそれぞれの送信時間として、時間t1がかかるものとする。
図6(b)には、データ量が比較的少ないサイズのJPEGデータ461および462を出力する場合における出力例を示す。なお、図6(b)では、説明の容易のため、JPEGデータ461および462のサイズを同一とし、JPEGデータ461および462には、同一の無効データ463および464が付与される例を示す。図6(b)に示す例では、JPEGデータ461および462のそれぞれの送信時間として、時間t2がかかるものとする。
図6(c)には、図6(b)と同一のJPEGデータ461および462を出力する場合における従来の送信例を示す。図6(c)では、説明の容易のため、図6(a)に示すJPEGデータ451および452のデータ量と同一となるように、JPEGデータ461および462に無効データ465および466が付与される例を示す。このように、従来の出力例では、図6(a)に示すJPEGデータ451および452のデータ量と同一のデータ量を送信することになるため、JPEGデータ461および462のそれぞれの送信時間は、時間t1となる。
図6(a)および(b)に示すように、本発明の第1の実施の形態では、送信対象となるJPEGデータのデータ量に応じて同期信号(垂直同期信号および水平同期信号)の長さを決定して、この同期信号の長さに従ってJPEGデータを送信することができる。これにより、送信対象となるJPEGデータのデータ量に応じた適切な送信処理を行うことができるため、送信時間を短縮することができる。これに対して、従来の送信例(図6(c)に示す)では、図6(a)に示すJPEGデータ(データ量が比較的多いJPEGデータ)と同一の送信時間がかかるため、送信時間を短縮することができない。
すなわち、本発明の第1の実施の形態によれば、符号化データの大小に応じて、符号化データの伝送を効率的に行うことができる。例えば、携帯電話装置100のユーザが、複数枚の撮像動作(撮影)を終了した後に、その撮像動作により生成された画像データをすぐに確認したいと考えることが想定される。この場合において、その撮像動作により生成された複数の画像データのうち、データ量が比較的少ない画像データが多い場合には、送信時間を短縮することができる。このため、携帯電話装置100のユーザが、その撮像動作により生成された画像データを速やかに確認することができる。
また、ホスト110が取得する最終出力データのデータ量を削減することができるため、ホスト110側の画像データを記憶するためのメモリの容量を削減することができる。また、カメラモジュール120からホスト110に符号化データを送信する場合に、送信対象となる無効データを減少させることができるため、その無効データを送信するための期間を短縮することができ、その伝送処理の消費電力を削減することができる。
[画像ファイルの構成例]
図7は、本発明の第1の実施の形態における携帯電話装置100により生成される画像ファイルの一例を模式的に示す図である。図7に示す例では、JPEG方式の静止画ファイルのファイル構造を模式的に示す。なお、図7に示す画像ファイル(JPEGファイル500)は、例えば、携帯電話装置100に内蔵(または、装着)されている記録媒体(図示せず)に記録される。
JPEGファイル500は、JPEG方式により記録される静止画ファイルであり、JPEGデータ(本画像)501およびJPEGデータ(サムネイル画像)502を含む。具体的には、符号化データ生成部241により、JPEGファイル500を構成するJPEGデータ(本画像)501およびJPEGデータ(サムネイル画像)502が生成される。
JPEGデータ(本画像)501は、JPEGファイル500を構成する画像情報(いわゆる、本画像)である。例えば、携帯電話装置100に備えられるシャッターボタン(図示せず)がユーザにより押下された場合に、撮像素子220により生成され、符号化データ生成部241により圧縮符号化されてJPEGデータ(本画像)501が生成される。
JPEGデータ(サムネイル画像)502は、JPEGファイル500に関する属性情報であり、JPEGデータ(本画像)501に対応する縮小画像である。JPEGデータ(サムネイル画像)502は、例えば、携帯電話装置100に内蔵(または、装着)されている記録媒体に記録されている画像ファイルを選択するためのインデックス画面にサムネイル画像として表示される。なお、JPEGファイル500に関する属性情報として、例えば、スクリーンネイル画像、位置情報、日時情報等がJPEGファイル500に含まれるが、これらの図示および説明を省略する。
ここで、JPEGファイル500を構成するJPEGデータのうち、JPEGデータ(本画像)501よりもJPEGデータ(サムネイル画像)502はデータ量が少ない。このため、信号処理部240からホスト110にJPEGデータを送信する場合において、JPEGデータ(本画像)501の送信時間よりもJPEGデータ(サムネイル画像)502の送信時間を短縮することができる。この例を図8に示す。
[符号化データの出力例]
図8は、本発明の第1の実施の形態における信号処理部240からホスト110に送信される符号化データの出力方法の比較例を模式的に示す図である。図8では、図7に示すJPEGデータ(本画像)501およびJPEGデータ(サムネイル画像)502を連続して送信する場合における比較例を示す。なお、図8では、図6と同様に、横軸を、JPEGデータを送信する際における送信時間を示す軸とし、波形511および512を垂直同期信号(VSYNC)に対応するものとする。また、図8(a)および(b)に示す時間t11およびt12は、1つのJPEGデータを送信する際における送信の開始時から、次のJPEGデータを送信する際における送信の開始時までの時間(送信時間)を示す。また、JPEGデータのデータ量を、JPEGデータ501、502を表す各矩形の大きさにより模式的に示す。同様に、無効データのデータ量を、無効データ503、504を表す各L字形状の大きさにより模式的に示す。
図8(a)には、送信対象となるJPEGデータのデータ量に応じて同期信号(垂直同期信号および水平同期信号)の長さを決定して、この同期信号の長さに従ってJPEGデータを出力する場合における出力例を示す。なお、図8(a)では、説明の容易のため、JPEGデータ501には無効データを付与せずに、JPEGデータ502には無効データ503を付与する例を示す。また、図8(a)に示す例では、JPEGデータ501および502のそれぞれの送信時間として、時間t11およびt12がかかるものとする。
図8(b)には、送信対象となるJPEGデータのデータ量の大小にかかわらず、同一のデータ量のJPEGデータを出力する場合における従来の出力例を示す。なお、図8(b)では、説明の容易のため、JPEGデータ501には無効データを付与せずに、JPEGデータ502には、JPEGデータ501のデータ量と同一となるように無効データ504を付与する例を示す。また、図8(b)に示す例では、JPEGデータ501および502のそれぞれの送信時間として、時間t11がかかるものとする。このように、従来の出力例では、データ量が比較的少ないサイズのJPEGデータ502を送信する場合でも、データ量が比較的多いサイズのJPEGデータ501のデータ量と同一のデータ量を送信することになる。このため、JPEGデータ501および502のそれぞれの送信時間は、時間t11となる。

図8(a)および(b)に示すように、JPEGファイル500を構成するJPEGデータ(本画像)501およびJPEGデータ(サムネイル画像)502を連続して送信する場合でも、送信時間を短縮することができる。
[携帯電話装置の動作例]
次に、本発明の第1の実施の形態における携帯電話装置100の動作について図面を参照して説明する。
[1つの符号化データの出力例]
図9は、本発明の第1の実施の形態におけるカメラモジュール120による符号化データ出力制御処理の処理手順の一例を示すフローチャートである。
最初に、ホスト110から撮像条件を取得したか否かが判断され(ステップS901)、撮像条件を取得した場合には、CPU230が、取得された撮像条件を設定する(ステップS902)。一方、ホスト110から撮像条件を取得していない場合には(ステップS901)、ステップS903に進む。
続いて、撮像動作を開始するための撮像動作開始指示をホスト110から取得したか否かが判断され(ステップS903)、撮像動作開始指示を取得していない場合には、ステップS901に戻る。一方、撮像動作開始指示を取得した場合には(ステップS903)、ホスト110から指示された撮像条件に基づいて撮像処理が行われる(ステップS904)。なお、ホスト110からの撮像条件を直前に取得していない場合には、最後に取得された撮像条件が用いられる。なお、ステップS904は、特許請求の範囲に記載の生成手順の一例である。
続いて、ホスト110から符号化データ出力指示を取得したか否かが判断され(ステップS905)、符号化データ出力指示を取得していない場合には、監視を継続して行う。一方、ホスト110から符号化データ出力指示を取得した場合には(ステップS905)、符号化データ生成部241が、撮像処理により生成された画像データを符号化して符号化データを生成する(ステップS906)。すなわち、その生成された画像データが符号化データに変換される。なお、ステップS906は、特許請求の範囲に記載の符号化手順の一例である。
続いて、符号化データ生成部241が、その符号化データのデータ量に基づいて、その符号化データの同期信号(垂直同期信号および水平同期信号)の長さを決定する(ステップS907)。すなわち、その符号化データのデータ量に基づいて、その符号化データの同期信号の長さが決定され、この同期信号の長さに基づいて、その符号化データを出力する際におけるデータ量(出力データ量)が算出される。
続いて、CPU230が、その算出された同期信号の長さをホスト110に通知する(ステップS908)。すなわち、その算出された同期信号の長さが、符号化データ出力部243およびホスト110に出力される。
続いて、無効データ付与部242が、生成された符号化データに無効データを付与して最終出力データを生成する(ステップS909)。すなわち、その生成された符号化データのデータ量と、その生成された符号化データの出力データ量との比較結果に基づいて、その符号化データに無効データが付与されて最終出力データが生成される。なお、符号化データのデータ量と出力データ量とが同一である場合には、その符号化データに無効データが付与されない。
続いて、符号化データ出力部243が、生成された最終出力データをホスト110に出力して(ステップS910)、符号化データ出力制御処理の動作を終了する。すなわち、CPU230により決定された同期信号(垂直同期信号および水平同期信号)の長さに基づいて、最終出力データがホスト110に出力される。そして、ホスト110が、最終出力データの取り込みを行い、最終出力データに付与されている無効データを検出し、検出された無効データを最終出力データから除去することにより符号化データのみを抽出する。なお、ステップS907乃至S910は、特許請求の範囲に記載の制御手順の一例である。
[複数の符号化データの出力例]
以上では、1つの符号化データをカメラモジュール120からホスト110に送信する例を示した。しかしながら、複数の符号化データを連続して出力する場合(例えば、連写撮像動作(いわゆる、連写撮影)を行う場合)についても、本発明の第1の実施の形態を適用することができる。そこで、以下では、複数の符号化データを連続して生成して、カメラモジュール120からホスト110に順次出力する場合における携帯電話装置100の動作について図面を参照して説明する。
図10は、本発明の第1の実施の形態におけるカメラモジュール120による符号化データ出力制御処理の処理手順の一例を示すフローチャートである。この例では、複数の符号化データ(例えば、7つの符号化データ)を連続して生成して、カメラモジュール120からホスト110に順次出力する例を示す。なお、この処理手順は、図9に示す処理手順の変形例である。このため、図9に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。
連続撮像動作を開始するための連続撮像動作開始指示をホスト110から取得したか否かが判断される(ステップS921)。そして、連続撮像動作開始指示を取得した場合には、ステップS904に進み、連続撮像動作開始指示を取得していない場合には、ステップS901に戻る。この連続撮像動作開始指示は、例えば、連写撮影を指示するユーザ操作に応じて行われる。
続いて、撮像処理が行われた後に(ステップS904)、規定数の撮像処理が終了したか否かが判断される(ステップS922)。例えば、規定数が7の場合(例えば、7枚の連写撮影の場合)には、7つの符号化データに関する撮像処理が終了したか否かが判断される。そして、規定数の撮像処理が終了するまで、継続して撮像処理が行われ(ステップS904)、規定数の撮像処理が終了した場合には(ステップS922)、ステップS905に進む。
また、最終出力データがホスト110に出力された後に(ステップS910)、規定数の最終出力データの出力処理が終了したか否かが判断される(ステップS923)。例えば、規定数が7の場合には、7つの最終出力データの出力処理が終了したか否かが判断される。そして、規定数の最終出力データの出力処理が終了するまで、継続して最終出力データの出力処理が行われ(ステップS906乃至910)、規定数の最終出力データの出力処理が終了した場合には(ステップS923)、符号化データ出力制御処理の動作を終了する。
<2.第2の実施の形態>
本発明の第1の実施の形態では、符号化データの生成毎に決定された垂直同期信号および水平同期信号の長さをホスト110に通知する例を示した。ここで、例えば、垂直同期信号の長さおよび水平同期信号の長さの組合せを示す識別情報を保持しておき、その組合せのうちから決定された1つの組合せに係る識別情報をホスト110に通知することによりさらに迅速に出力処理を行うことができると想定される。そこで、本発明の第2の実施の形態では、垂直同期信号の長さおよび水平同期信号の長さの組合せを示す識別情報をホスト110に通知する例を示す。なお、本発明の第2の実施の形態における携帯電話装置の構成については、本発明の第1の実施の形態と略同様である。このため、本発明の第1の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
[同期信号の長さ指示情報テーブル例]
図11は、本発明の第2の実施の形態におけるホスト110およびカメラモジュール120が保持する同期信号の長さ指示情報テーブルの一例を示す図である。図11に示す同期信号の長さ指示情報テーブル800は、識別番号801と、水平同期信号802と、垂直同期信号803とを関連付けて保持するテーブルである。すなわち、同期信号の長さ指示情報テーブル800は、垂直同期信号の長さおよび水平同期信号の長さの組合せを複数保持するテーブルである。このように、本発明の第2の実施の形態は、同期信号の長さ指示情報テーブル800をホスト110およびカメラモジュール120(CPU230)に保持させる例である。なお、CPU230は、特許請求の範囲に記載の保持部の一例である。
水平同期信号802および垂直同期信号803は、符号化データ出力部243が最終出力データをホスト110に出力する際に用いられる同期信号(垂直同期信号および水平同期信号)の長さを示す値である。
例えば、CPU230が、生成された符号化データのデータ量に基づいて、その符号化データをホスト110に出力する際に用いられる同期信号の長さとして最適な値となる水平同期信号802および垂直同期信号803の組合せを選択して決定する。そして、CPU230が、決定された組合せに係る水平同期信号802および垂直同期信号803の2つの値に基づいて、その符号化データを出力する際におけるデータ量(出力データ量)を算出する。
例えば、CPU230が、同期信号の長さ指示情報テーブル800の組合せに係る長さにより特定されるデータ量が、符号化データのデータ量以上となる組合せのうち、その特定されるデータ量が最小となる組合せに係る長さを選択して決定する。
また、CPU230が、その決定された組合せに係る水平同期信号802および垂直同期信号803の値に対応する識別番号(識別番号801)をホスト110に出力する。また、CPU230が、その選択された組合せに係る水平同期信号802および垂直同期信号803の値を符号化データ出力部243に出力する。また、ホスト110が、CPU230からの識別番号(識別番号801)を取得すると、保持する同期信号の長さ指示情報テーブル800を参照する。そして、ホスト110が、取得された識別番号(識別番号801)に対応する水平同期信号802および垂直同期信号803の値を用いて、最終出力データの取り込みを行う。
このように、本発明の第2の実施の形態では、同期信号の長さ指示情報テーブル800を用いて、垂直同期信号および水平同期信号の長さを決定することができる。また、その決定された水平同期信号および垂直同期信号に対応する識別番号(識別番号801)のみをホスト110に通知する。このため、同期信号の長さの決定処理および同期信号の長さの通知処理に係る負荷を軽減させることができる。
なお、本発明の実施の形態では、画像処理装置の一例として携帯電話装置について説明したが、他の画像処理装置や画像処理システムに本発明の実施の形態を適用することができる。例えば、監視カメラ、電子ルーペ、USB(Universal Serial Bus)カメラシステム、パソコンカメラシステム等に本発明の実施の形態を適用することができる。なお、電子ルーペは、撮像素子を内蔵し、この撮像素子により生成された画像(文字や図等)を拡大して表示部に表示することができる電子機器である。また、USBカメラシステムは、例えば、USBカメラと画像処理装置(例えば、パソコン、テレビジョン)により構成される画像処理システムである。また、パソコンカメラシステムは、例えば、カメラを内蔵または装着するパソコン(パーソナルコンピュータ)により構成される画像処理システムである。すなわち、符号化データを取得してその符号化データの出力制御または記録制御を行う取得装置(例えば、パソコン)と、他の画像処理装置(例えば、撮像装置)との間で、符号化データを伝送する画像処理システムに本発明を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100 携帯電話装置
110 ホスト
120 カメラモジュール
200 DSP
210 光学系
220 撮像素子
230 CPU
234 内部バス
240 信号処理部
241 符号化データ生成部
242 無効データ付与部
243 符号化データ出力部
250 ROM
260 RAM
270 SDRAM

Claims (12)

  1. 符号化データを取得して当該符号化データの出力制御または記録制御を行う取得部と、
    画像データを生成する生成部と、
    前記取得部からの出力要求に応じて前記生成された画像データを符号化して前記符号化データを生成する符号化部と、
    前記生成された符号化データを前記取得部に出力する出力部と、
    前記生成された符号化データを前記取得部に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、前記決定された各サイズを当該符号化データの出力前に前記取得部に通知し、当該通知後に前記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを前記出力部に出力させる制御を行う制御部とを具備し、
    前記制御部は、前記垂直同期信号および前記水平同期信号のそれぞれのサイズにより特定されるデータ量が前記生成された符号化データのデータ量以上となる前記垂直同期信号および前記水平同期信号のそれぞれのサイズのうち最小のサイズの組合せを決定する
    画像処理装置。
  2. 符号化データを取得して当該符号化データの出力制御または記録制御を行う取得部と、
    画像データを生成する生成部と、
    前記取得部からの出力要求に応じて前記生成された画像データを符号化して前記符号化データを生成する符号化部と、
    前記生成された符号化データを前記取得部に出力する出力部と、
    前記生成された符号化データを前記取得部に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、前記決定された各サイズを当該符号化データの出力前に前記取得部に通知し、当該通知後に前記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを前記出力部に出力させる制御を行う制御部と
    前記垂直同期信号のサイズおよび前記水平同期信号のサイズの組合せを複数保持する保持部とを具備し、
    前記制御部は、前記組合せに係るサイズにより特定されるデータ量が前記生成された符号化データのデータ量以上となる前記組合せのうち前記特定されるデータ量が最小となる組合せに係るサイズを決定する
    画像処理装置。
  3. 前記生成部は、被写体を撮像して前記画像データを生成する請求項1または2記載の画像処理装置。
  4. 前記生成部は、前記被写体を連続して撮像することにより時系列で連続する複数の前記画像データを生成し、
    前記符号化部は、前記生成された複数の画像データを順次符号化して複数の前記符号化データを生成し、
    前記制御部は、前記垂直同期信号および前記水平同期信号のそれぞれのサイズを前記生成された符号化データ毎に決定して前記決定された各サイズを当該符号化データ毎に前記取得部に通知し、当該通知されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データ毎の前記取得部への出力制御を行う
    請求項記載の画像処理装置。
  5. 前記符号化部は、JPEG方式に従って前記生成された画像データを符号化して前記符号化データを生成する請求項1または2記載の画像処理装置。
  6. 前記符号化部は、前記生成された画像データに基づいてJPEGファイルを構成する本画像に係る符号化データおよび前記JPEGファイルを構成するサムネイル画像に係る符号化データを生成し、
    前記制御部は、前記垂直同期信号および前記水平同期信号のそれぞれのサイズを前記JPEGファイルを構成する符号化データ毎に決定して前記決定された各サイズを当該符号化データ毎に前記取得部に通知し、当該通知されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データ毎の前記取得部への出力制御を行う
    請求項記載の画像処理装置。
  7. 前記決定された各サイズにより特定されるデータ量となるように前記生成された符号化データに無効データを付与して出力データを生成する無効データ付与部をさらに具備し、
    前記制御部は、前記通知後に前記決定されたサイズに従って前記生成された出力データを前記出力部に出力させる制御を行う
    請求項1または2記載の画像処理装置。
  8. 前記制御部は、前記水平同期信号のサイズとして固定サイズを決定し、前記垂直同期信号のサイズとして前記生成された符号化データのデータ量に応じたサイズを決定する請求項1または2記載の画像処理装置。
  9. 符号化データを取得して当該符号化データの出力制御または記録制御を行う取得装置と、
    画像データを生成する生成部と、前記取得装置からの出力要求に応じて前記生成された画像データを符号化して符号化データを生成する符号化部と、前記生成された符号化データを前記取得装置に出力する出力部と、前記生成された符号化データを前記取得装置に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、前記決定された各サイズを当該符号化データの出力前に前記取得装置に通知し、当該通知後に前記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを前記出力部に出力させる制御を行う制御部とを備え、前記制御部は、前記垂直同期信号および前記水平同期信号のそれぞれのサイズにより特定されるデータ量が前記生成された符号化データのデータ量以上となる前記垂直同期信号および前記水平同期信号のそれぞれのサイズのうち最小のサイズの組合せを決定する画像処理装置と
    を具備する画像処理システム。
  10. 符号化データを取得して当該符号化データの出力制御または記録制御を行う取得装置と、
    画像データを生成する生成部と、前記取得装置からの出力要求に応じて前記生成された画像データを符号化して符号化データを生成する符号化部と、前記生成された符号化データを前記取得装置に出力する出力部と、前記生成された符号化データを前記取得装置に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、前記決定された各サイズを当該符号化データの出力前に前記取得装置に通知し、当該通知後に前記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを前記出力部に出力させる制御を行う制御部と、前記垂直同期信号のサイズおよび前記水平同期信号のサイズの組合せを複数保持する保持部とを備え、前記制御部は、前記組合せに係るサイズにより特定されるデータ量が前記生成された符号化データのデータ量以上となる前記組合せのうち前記特定されるデータ量が最小となる組合せに係るサイズを決定する画像処理装置と
    を具備する画像処理システム。
  11. 画像データを生成する生成手順と、
    符号化データを取得して当該符号化データの出力または記録を行う取得部からの出力要求に応じて前記生成された画像データを符号化して前記符号化データを生成する符号化手順と、
    前記生成された符号化データを前記取得部に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、前記決定された各サイズを当該符号化データの出力前に前記取得部に通知し、当該通知後に前記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを出力部に出力させる制御を行う制御手順とを具備し、
    前記制御手順は、前記垂直同期信号および前記水平同期信号のそれぞれのサイズにより特定されるデータ量が前記生成された符号化データのデータ量以上となる前記垂直同期信号および前記水平同期信号のそれぞれのサイズのうち最小のサイズの組合せを決定する
    画像処理方法。
  12. 画像データを生成する生成手順と、
    符号化データを取得して当該符号化データの出力または記録を行う取得部からの出力要求に応じて前記生成された画像データを符号化して前記符号化データを生成する符号化手順と、
    前記生成された符号化データを前記取得部に出力する際に用いられる垂直同期信号のサイズおよび水平同期信号のサイズのうちから当該符号化データのデータ量に応じた各サイズを決定し、前記決定された各サイズを当該符号化データの出力前に前記取得部に通知し、当該通知後に前記決定されたサイズに係る垂直同期信号および水平同期信号に従って当該符号化データを出力部に出力させる制御を行う制御手順とをコンピュータに実行させるプログラムであって、
    前記制御手順は、前記垂直同期信号および前記水平同期信号のそれぞれのサイズにより特定されるデータ量が前記生成された符号化データのデータ量以上となる前記垂直同期信号および前記水平同期信号のそれぞれのサイズのうち最小のサイズの組合せを決定する
    プログラム
JP2010233320A 2010-10-18 2010-10-18 画像処理装置、画像処理システム、画像処理方法およびプログラム Expired - Fee Related JP5720170B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010233320A JP5720170B2 (ja) 2010-10-18 2010-10-18 画像処理装置、画像処理システム、画像処理方法およびプログラム
US13/137,772 US9432673B2 (en) 2010-10-18 2011-09-12 Image processing device, image processing system, image processing method and program
CN201110317162.4A CN102547253B (zh) 2010-10-18 2011-10-18 图像处理设备、图像处理系统、图像处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010233320A JP5720170B2 (ja) 2010-10-18 2010-10-18 画像処理装置、画像処理システム、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2012089971A JP2012089971A (ja) 2012-05-10
JP5720170B2 true JP5720170B2 (ja) 2015-05-20

Family

ID=45933845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010233320A Expired - Fee Related JP5720170B2 (ja) 2010-10-18 2010-10-18 画像処理装置、画像処理システム、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US9432673B2 (ja)
JP (1) JP5720170B2 (ja)
CN (1) CN102547253B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013238755A (ja) * 2012-05-16 2013-11-28 Seiko Epson Corp 光学モジュール、電子機器、食物分析装置、分光カメラ、及び波長可変干渉フィルターの駆動方法
JP6203515B2 (ja) * 2013-03-29 2017-09-27 株式会社メガチップス 画像処理装置
US9955286B2 (en) * 2013-05-08 2018-04-24 Natalya Segal Smart wearable devices and system therefor
JP6354243B2 (ja) * 2014-03-25 2018-07-11 セイコーエプソン株式会社 撮像装置、画像処理装置、表示制御装置、及び撮像表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4019235B2 (ja) * 1998-06-05 2007-12-12 富士フイルム株式会社 撮像デバイスの駆動方法及び電子カメラ
JP3428922B2 (ja) * 1999-02-26 2003-07-22 キヤノン株式会社 画像表示制御方法及び装置
JP2003141059A (ja) * 2001-11-02 2003-05-16 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4101034B2 (ja) * 2002-11-14 2008-06-11 松下電器産業株式会社 符号化装置及び方法
JP3786120B2 (ja) * 2004-03-09 2006-06-14 セイコーエプソン株式会社 データ転送制御装置及び電子機器
JP2005303512A (ja) * 2004-04-08 2005-10-27 Matsushita Electric Ind Co Ltd カメラおよびデータ転送方法
JP2006253993A (ja) * 2005-03-10 2006-09-21 Casio Comput Co Ltd 撮像装置
JP4368835B2 (ja) * 2005-08-29 2009-11-18 富士通マイクロエレクトロニクス株式会社 画像処理装置、撮像装置及び画像処理システム
JP4303256B2 (ja) * 2006-04-04 2009-07-29 パナソニック株式会社 デジタル信号受信装置およびデジタル信号受信方法
JP4822952B2 (ja) * 2006-06-26 2011-11-24 富士通セミコンダクター株式会社 符号化データ転送装置および符号化データ転送方法
JP4795187B2 (ja) * 2006-10-02 2011-10-19 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 静止画像送信装置、静止画像受信装置、静止画像送受信装置、静止画像送信方法、静止画像受信方法、静止画像送受信方法、カメラ装置、及び携帯端末装置
WO2009063637A1 (ja) * 2007-11-15 2009-05-22 Sanyo Electric Co., Ltd. 画像送信方法および画像送信装置
JP2011009957A (ja) * 2009-06-24 2011-01-13 Toshiba Corp 撮像装置及びサムネイル画像表示方法
KR101607295B1 (ko) * 2009-07-31 2016-04-11 엘지전자 주식회사 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기

Also Published As

Publication number Publication date
US20120092506A1 (en) 2012-04-19
JP2012089971A (ja) 2012-05-10
CN102547253A (zh) 2012-07-04
US9432673B2 (en) 2016-08-30
CN102547253B (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
JP4160883B2 (ja) 画像記録装置及び画像記録方法
US9736363B2 (en) Imaging apparatus and control method thereof
EP2974285B1 (en) Image processing apparatus and image processing method
CN101356805A (zh) 图像感测设备及其控制方法,信息处理设备,打印设备,打印数据生成方法
JP2005287029A (ja) データを動的に処理する方法及びデジタルカメラ
EP2974265B1 (en) Imaging apparatus and imaging apparatus control method
JP2006311154A (ja) 撮像装置、この装置の処理方法およびその方法をコンピュータに実行させるプログラム
EP3192251B1 (en) Image processing apparatus and image processing method
US9445085B2 (en) Imaging apparatus, method for controlling imaging apparatus, and system therefor
JP5720170B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2015179910A (ja) 画像処理装置及びその制御方法
JP5230381B2 (ja) 撮像装置及び撮像装置の制御方法
JP2016005103A (ja) 撮像装置およびその制御方法
US20100328514A1 (en) Image processing device, imaging apparatus, and thumbnail image displaying method
JP6741532B2 (ja) 撮像装置および記録方法
JP6727930B2 (ja) 撮像装置及び撮像装置の制御方法
JP4193691B2 (ja) 撮像装置、動画ファイルの記録方法、及びプログラム
JP2006287588A (ja) 画像処理装置、画像処理方法、データファイル構造、コンピュータプログラム及び記憶媒体
JP6327939B2 (ja) 撮像装置及び撮像装置の制御方法
JP2015119403A (ja) 画像記録装置、画像記録方法およびプログラム並びに撮像装置
JP6282136B2 (ja) 撮像装置及びその制御方法
KR20130101707A (ko) 촬영장치, 전자 장치, 동영상 생성 방법 및 썸네일 표시 방법
JP5916984B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006024993A (ja) 撮像信号処理装置
JP2010114708A (ja) カメラ装置、及び撮影方法、撮影制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150309

R151 Written notification of patent or utility model registration

Ref document number: 5720170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees