JP5832673B2 - 撮像装置およびその動作制御方法 - Google Patents

撮像装置およびその動作制御方法 Download PDF

Info

Publication number
JP5832673B2
JP5832673B2 JP2014558451A JP2014558451A JP5832673B2 JP 5832673 B2 JP5832673 B2 JP 5832673B2 JP 2014558451 A JP2014558451 A JP 2014558451A JP 2014558451 A JP2014558451 A JP 2014558451A JP 5832673 B2 JP5832673 B2 JP 5832673B2
Authority
JP
Japan
Prior art keywords
color
specific color
saturation
specific
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014558451A
Other languages
English (en)
Other versions
JPWO2014115421A1 (ja
Inventor
恒史 遠藤
恒史 遠藤
貽▲トウ▼ 張
貽▲トウ▼ 張
杉本 雅彦
雅彦 杉本
潤也 北川
潤也 北川
宏輔 栗林
宏輔 栗林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014558451A priority Critical patent/JP5832673B2/ja
Application granted granted Critical
Publication of JP5832673B2 publication Critical patent/JP5832673B2/ja
Publication of JPWO2014115421A1 publication Critical patent/JPWO2014115421A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

この発明は,撮像装置およびその動作制御方法に関する。
ディジタル・カメラのエフェクト機能,テレビ・コマーシャルの演出などにおいて,特定の色のみを残して他の色をグレー化することにより特定の色をもつ部分への注目効果を得る画像処理が一般的になりつつある。このような画像処理においては,注目させたい部分の色分布が既知である場合にはあらかじめ登録した色範囲外の色をグレー化することが可能であるが,ディジタル・カメラのように被写体が決まっていない場合には特定色の設定方法に工夫が必要である。
色度範囲が既定されているいくつかの特定色候補(赤,黄,青など)から一つをユーザが指定したり,被写体像の一部をユーザが指定したりして,指定色以外をグレー化することは比較的容易である。
また,肌の色や空の色などのように平均輝度との関係をモデル化できる被写体について特定色領域を決定するもの(特許文献1),画像の指定された位置の色情報を抽出し,その色情報に該当する領域範囲を他の色に変換するもの(特許文献2),仮の背景を用いた予備撮影によって被写体の色分布を取得して本撮影時の背景を変更するもの(特許文献3)などもある。
国際公開WO2006/059573号公報 特開平7-320024号公報 特開2002-118859号公報
指定色以外をグレー化する場合,そのグレー化の結果に満足できないものであった場合には,特定色の指定と撮影をやり直す必要があるため,操作が煩雑となってしまう。また,満足できる結果を得るまでの時間も多く必要である。さらに,動いている被写体の画像をグレー化処理することは非常に困難である。
また,引用文献1に記載のものでは,平均輝度との関係をあらかじめモデル化できる被写体が対象であるので,不特定の被写体に用いることはできない。引用文献2に記載のものでは,撮影画像内で色情報を抽出する位置を指定する操作と変換結果の確認を繰り返す必要があり,煩雑となってしまう。さらに,引用文献3に記載のものでは,背景を設定できない一般的な被写体には用いることができない。
この発明は,ユーザに煩雑な操作をさせることなく,特定色と同一と見なすことができる特定色範囲内の色または特定色範囲外の色の彩度を変化させた被写体像を表示することを目的とする。
この発明による撮像装置は,被写体を撮像し,カラー被写体像を表わすカラー画像データを出力するカラー撮像手段,カラー被写体像を解析し,カラー被写体像から特定色を決定する特定色決定手段,特定色決定手段によって決定した特定色と実質的に同一の色と見なせる色の範囲を示す特定色範囲を決定する特定色範囲決定手段,カラー被写体像の色の彩度を変化させるものであって,特定色範囲決定手段によって決定した特定色範囲内の色または特定色範囲外の色の彩度を変化させる彩度調整手段,彩度調整手段によって色の彩度が変化させられたカラー被写体像を表示するように表示装置を制御する表示制御手段,カラー撮像手段,特定色決定手段,特定色範囲決定手段,彩度調整手段,および表示制御手段により,カラー被写体像の生成処理,特定色決定処理,特定色範囲決定処理,彩度調整処理,およびカラー被写体像の表示制御処理を繰り返すように制御する撮像制御手段,ならびに特定色固定指示を受け付けた後は,特定色固定指示により固定される(特定色固定指示が受け付けられた時点で特定色範囲決定手段において決定された特定色範囲に固定される)特定色範囲にもとづいてカラー被写体像の彩度調整を行うように彩度調整手段を制御する彩度調整制御手段を備えていることを特徴とする。
この発明は,撮像装置に適した動作制御方法も提供している。すなわち,カラー撮像手段が,被写体を撮像し,カラー被写体像を表わすカラー画像データを出力し,特定色決定手段が,カラー被写体像を解析し,カラー被写体像から特定色を決定し,特定色範囲決定手段が,特定色決定手段によって決定した特定色と実質的に同一の色と見なせる色の範囲を示す特定色範囲を決定し,彩度調整手段が,カラー被写体像の色の彩度を変化させるものであって,特定色範囲決定手段によって決定した特定色範囲内の色または特定色範囲外の色の彩度を変化させ,表示制御手段が,彩度調整手段によって色の彩度が変化させられたカラー被写体像を表示するように表示装置を制御し,撮像制御手段が,カラー撮像手段,特定色決定手段,特定色範囲決定手段,彩度調整手段,および表示制御手段により,カラー被写体像の生成処理,特定色決定処理,特定色範囲決定処理,彩度調整処理,およびカラー被写体像の表示制御処理を繰り返すように制御し,彩度調整制御手段が,特定色固定指示を受け付けた後は,特定色固定指示により固定される特定色範囲にもとづいてカラー被写体像の彩度調整を行うように彩度調整手段を制御することを特徴とする。
この発明によると,被写体が撮像され,カラー被写体像が得られる。カラー被写体像から,特定色が決定され,決定された特定色と実質的に同一の色と見なせる特定色範囲が決定される。カラー被写体像のうち,決定された特定色範囲内の色または特定色範囲外の色の彩度が変化させられ,彩度が変化させられたカラー被写体像が表示されるこのような撮像処理,特定色決定処理,特定色範囲決定処理,彩度調整処理および表示処理が繰り返される。特定色固定指示が受け付けられると,特定色固定指示により固定される特定色範囲にもとづいてカラー被写体像の彩度調整が行われる。ユーザに煩雑な操作をさせることなく,特定色と同一と見なすことができる特定色範囲内の色または特定色範囲外の色の彩度を変化させた被写体像を表示できる。また,特定色固定指示を受け付けた後は,特定色固定指示により固定される特定色範囲内の色または特定色範囲外の色の彩度を変化させ,そのようにして彩度が変化させられた被写体像を表示できるようになる。
特定色決定手段は,たとえば,カラー被写体像の一部である特定色保持領域内の注目画像の特定色を,カラー被写体像の特定色と決定するものであり,彩度調整手段は,たとえば,カラー被写体像のうち特定色保持領域外の色の彩度を変化させるものであって,特定色範囲決定手段によって決定した特定色範囲外の色の彩度を低下させるものである。
カラー被写体像を色ごとの領域に分割する色領域分割手段をさらに備えてもよい。この場合,彩度調整手段は,たとえば,カラー被写体像のうち特定色保持領域外の色の彩度を変化させるものであって,特定色範囲決定手段によって決定した特定色範囲外の色の彩度を,特定色保持領域内において特定色決定手段によって決定された特定色が含まれる部分を含む領域を除いて低下させるものである。
特定色範囲決定手段は,たとえば,連続した複数回の撮像により得られる複数のカラー被写体像にもとづいて,カラー被写体像ごとに決定される複数の特定色範囲の重み付け平均により得られる重み付け特定色範囲を,特定色範囲と決定するものである。
彩度調整手段は,たとえば,特定色範囲決定手段によって決定した特定色範囲に用いられたカラー被写体像の後に撮像されたカラー被写体像の色の彩度を変化させるものであって,特定色範囲決定手段によって決定した特定色範囲内の色または特定色範囲外の色の彩度を変化させるものである。
特定色決定手段は,たとえば,カラー被写体像の一部である注目領域内の注目画像の特定色を,カラー被写体像の特定色と決定するものである。
表示制御手段の制御のもとに表示されるカラー被写体像に,注目領域の範囲を表示するように表示装置を制御する注目領域表示制御手段をさらに備えてもよい。
彩度調整手段は,たとえば,特定色範囲決定手段によって決定した特定色範囲の境界近傍において,カラー被写体像の色の彩度を徐々に変化させるものでもよい。
彩度調整制御手段は,たとえば,特定色固定指示によって固定された特定色範囲の境界近傍において,カラー被写体像の色の彩度を徐々に変化させるように彩度調整手段を制御するものでもよい。
ディジタル・スチル・カメラの電気的構成を示すブロック図である。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 カラー被写体像の一例である。 非特定色グレー化被写体像の一例である。 特定色範囲を決定する様子を示している。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 特定色範囲を決定する様子を示している。 ディジタル・スチル・カメラの処理手順を示すフローチャートである。 非特定色グレー化被写体像の一例である。 色相と彩度係数との関係を示している。 色相と彩度係数との関係を示している。 カラー被写体像の一例である。 非特定色グレー化被写体像の一例である。 カラー被写体像の一例である。 非特定色グレー化被写体像の一例である。 非特定色グレー化被写体像の一例である。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。
図1は,この発明の実施例を示すもので,ディジタル・スチル・カメラ(撮像装置)の電気的構成を示すブロック図である。
ディジタル・スチル・カメラの全体の動作は,CPU10によって統括される。
この実施例によるディジタル・スチル・カメラは,被写体を撮像して得られるカラー被写体像のうち,特定色と同一と見なせる特定色範囲以外の色をグレーとするものである。
ディジタル・スチル・カメラには,操作装置11が含まれている。操作装置11には,電源ボタン,モード設定ダイアル,二段ストローク・タイプのシャッタ・レリーズ・ボタンなどが含まれている。操作装置11に含まれている電源ボタン等から出力される操作信号は,CPU10に入力する。
二段ストローク・タイプのシャッタ・レリーズ・ボタンは,撮像に関連する指示を入力するための操作手段で,いわゆる「半押し」と「全押し」とからなる二段ストローク・タイプのスイッチで構成されている。ディジタル・スチル・カメラは,レリーズ・スイッチが半押しされることによりS1オン信号が出力され,半押しからさらに押し込む全押しがされることによりS2オン信号が出力される。S1オン信号が出力されると自動焦点調節や自動露出制御などの本撮像の準備処理が実行され,S2オン信号が出力されると本撮像処理が実行される。シャッタ・レリーズ・ボタンは,半押しと全押しとからなる二段ストローク・タイプの形態に限られず,一回の操作でS1オン信号およびS2オン信号が出力されてもよい。
また,タッチ・パネルにより操作指示を行う形態では,このような操作手段としてタッチ・パネルの画面に表示される操作指示に対応する領域がタッチされることにより操作指示を出力するようにしてもよく,この実施例においては本撮像の準備処理や本撮像処理を指示するものであれば,操作手段の形態はシャッタ・レリーズ・ボタンに限られない。また,一つの操作手段への操作指示で本撮像準備処理と本撮像とを連続して実行するようにしてもよい。
CMOS(Complementary Metal Oxide Semiconductor)センサ4の前方には,撮像レンズ1,絞り2および光学的ロウ・パス・フィルタ3が配置されている。撮像レンズ1,絞り2およびCMOSセンサ4は,それぞれレンズ駆動装置5,絞り駆動装置6およびCMOS駆動装置7によって制御される。
モード設定ダイアルによって撮像モードが設定されると,CMOSセンサ4によって被写体が一定周期で撮像され,カラー被写体像を表わすアナログ映像信号がCMOSセンサ4から一定周期で出力される。CMOSセンサ4から一定周期で出力されたアナログ映像信号はアナログ信号処理回路8に入力し,アナログ信号処理回路8においてガンマ補正などの所定のアナログ信号処理が行われる。アナログ信号処理回路8から出力されたアナログ映像信号は,アナログ/ディジタル変換回路9においてディジタル画像データに変換される。
ディジタル画像データは,メモリ制御装置21の制御によりメイン・メモリ22に与えられ,そのメイン・メモリ22に一時的に記憶される。
ディジタル画像データはメイン・メモリ22から読み出され,ディジタル信号処理装置23に入力する。ディジタル信号処理装置23において,白バランス調整などの所定のディジタル信号処理が行われる。
ディジタル信号処理装置23から出力されたディジタル画像データは,メモリ制御装置21の制御によりメイン・メモリ22に一時的に記憶される。ディジタル画像データはメイン・メモリ22から読み出され,色ヒストグラム生成装置31に入力する。色ヒストグラム生成装置31において,ディジタル画像データの色ヒストグラムが生成される。生成された色ヒストグラムを表すデータは,代表色決定装置32に入力する。代表色(特定色)決定装置32において,生成された色ヒストグラムにもとづいて,撮像により得られたカラー被写体像の代表色(特定色)が決定される。決定された代表色を表わすデータおよび生成された色ヒストグラムを表すデータは特定色範囲決定装置33に入力する。特定色範囲決定装置33において,代表色を表わすデータおよび色ヒストグラムとから,決定された代表色と同一色と見なされる色相(色)の範囲を示す特定色範囲が決定される。決定された特定色範囲を示すデータはグレー化処理装置34に入力する。また,メイン・メモリ22に一時的に記憶されているディジタル画像データも,グレー化処理装置34に与えられる。グレー化処理装置34において,カラー被写体像のうち特定色範囲外(特定色範囲内)の色がグレーとされる(彩度が変化させられる)。
グレー化処理装置34においてグレー化処理されたディジタル画像データは画像処理装置30において表示のために所定の画像処理が行われる。画像処理装置30から読み出されたディジタル画像データは表示制御装置28によって表示装置29に与えられる。表示装置29の表示画面に特定色範囲内の色がカラーであり,特定色範囲外の色がグレーとされたカラー被写体像が表示される。
シャッタ・レリーズ・ボタンが半押しされるまで,上述したように撮像により得られたカラー被写体像ごとに特定色範囲の決定処理が繰り返され,決定された特定色範囲内の色がカラーであり,特定色範囲外の色がグレーとされたカラー被写体像が繰り返し表示される。シャッタ・レリーズ・ボタンが半押しされると,上述したように特定色範囲決定装置33において決定した特定色範囲が固定される。シャッタ・レリーズ・ボタンの半押し後に得られたカラー被写体像については,固定された特定色範囲内の色がカラーであり,特定色範囲外の色がグレーとされることとなる。
また,シャッタ・レリーズ・ボタンが半押しされると,メイン・メモリ22から読み出されたディジタル画像データは積算装置25に入力し,輝度成分が積算される。積算された輝度成分にもとづいて絞り値が決定され,決定された絞り値となるように絞り駆動装置6によって絞り2が制御される。さらに,ディジタル信号処理装置23において,合焦距離が算出され,算出された合焦距離となるようにレンズ駆動装置5によって撮像レンズ1が位置決めされる。
シャッタ・レリーズ・ボタンが全押しされると,固定された特定色範囲内の色が保持され,特定色範囲外の色がグレーとされた被写体像を表わす画像データが圧縮伸張装置24に入力する。圧縮伸張装置24において圧縮された画像データが外部メモリ制御装置26の制御により着脱自在な外部メモリ27に与えられ,その外部メモリ27に圧縮された画像データが記録される。もっとも,シャッタ・レリーズ・ボタンが全押しされた場合には,固定された特定色範囲内の色が保持され,特定色範囲外の色がグレーとされた被写体像を表示し,グレー化処理が行われない画像データが外部メモリ27に記録されるようにしてもよい。
ディジタル・スチル・カメラは再生モードを設定することもできるが,この実施例では説明を省略する。
図2および図3ならびに図4および図5は,ディジタル・スチル・カメラの処理手順を示すフローチャートである。図4および図5は,図2および図3に示すフローチャートをより分りやすくするために,撮像により得られたカラー被写体像等も図示されている。図2から図5において同一の処理については同一符号が付されている。
上述したように,ディジタル・スチル・カメラの電源がオンされ,撮像モードが設定されると,被写体が撮像され(ステップ41),カラー被写体像が得られる。
図6は,カラー被写体像C1の一例である。
カラー被写体像C1は,道路IR上に自動車IMが走っている。背景にはビルIBおよび空ISがある。
空ISは水色の領域Aaであり,ビルIBには建物として白の領域Abおよび窓の色の領域Ac,Ad,AeおよびAfが含まれている。道路IRは茶色の領域Agであり,自動車IMには車体として緑の領域Aj,タイヤとして黒の領域AkおよびAo,ホイールとして銀色の領域AlおよびAn,ナンバーとして白の領域Amがある。また,自動車IMのドライバーの顔として肌色の領域Aiおよびヘルメットの緑の領域Ahがある。これらの各領域AaからAoの色は,ハッチング,網点,黒塗りなどで表わされている。
図2および図4に戻って,カラー被写体像が得られると,得られたカラー被写体像の色ヒストグラムが生成される(ステップ42)。色ヒストグラムが生成されると,生成された色ヒストグラムからカラー被写体像の代表色が決定される(ステップ43)。つづいて,色ヒストグラムと代表色とから特定色範囲が決定される(ステップ44)。
図8は,カラー被写体像C1から特定色範囲を決定する様子を示している。
上述のように,カラー被写体像C1が得られると,そのカラー被写体像C1についての色ヒストグラム60が得られる。色ヒストグラム60の横軸は色相であり,縦軸は,その色相がカラー被写体像C1において出現する頻度である。色ヒストグラム60により,カラー被写体像C1の色分布が分る。この実施例では,代表色は,頻度の最も高い色とする。また,緑色が最も頻度が高かったものとする。この実施例では,上述したように,代表色と同一の色と見なすことができる色の範囲を特定色範囲として決定され,その特定色範囲外の色がグレーとされる。たとえば,頻度の最も高い緑色の色相を中心に所定の色相のズレの範囲が特定色範囲とされる。
図2および図4に戻って,特定色範囲が決定すると,その特定色範囲外の色の彩度が低下させられることによりグレー化処理が行われる(ステップ45)。グレー化処理により得られた非特定色グレー化被写体像が表示装置29の表示画面に表示される(ステップ46)。
図7は,非特定色グレー化被写体像G1の一例である。
上述のように,最も頻度の高い緑色と同一と見なされる自動車の車体の領域Ajの緑色およびヘルメットの領域Ahの緑色がカラーで表現され,それらの領域AjおよびAh以外の領域は彩度が低下させられることによりグレーとされている。但し,図面上では,緑色とこなされる領域AjおよびAhはハッチングで示され,その他の領域は白色で表現されている。
図2に戻って,特定色範囲の固定指示があるまで,ステップ41から46の処理が繰り返される。図4に示すように,時刻t1に被写体が撮像され,カラー被写体像C1が得られ,非特定色グレー化被写体像G1が得られる。同様に,時刻t2に被写体が撮像され,カラー被写体像C2が得られ,非特定色グレー化被写体像G2が得られる。このように,特定色範囲の固定指示があるまで,特定色範囲の決定処理が繰り返され,決定された特定色範囲外の色がグレーとされている非特定色グレー化被写体像が得られ,得られた非特定色グレー化被写体像が表示装置29の表示画面に表示される。
図2および図4を参照して,たとえば,時刻t+(S+1)においてシャッタ・レリーズ・ボタンが半押しされると,特定色範囲の固定指示があったと判断される(ステップ47でYES)。すると,シャッタ・レリーズ・ボタンが半押しされる直前に決定された特定色範囲が固定される(ステップ48)。
図3および図5を参照して,再び被写体が撮像され(ステップ49),カラー被写体像が得られる。得られたカラー被写体像について,固定された特定色範囲外の色についてグレーとされるグレー化処理が行われる(ステップ50)。グレー化処理により得られる非特定色グレー化被写体像が表示装置29の表示画面に表示されることとなる。特定色範囲の解除指示がなく(ステップ52でNO),かつ本撮像指示がなければ(ステップ53でNO),ステップ49から51までの処理が繰り返される。図5に示すように,時刻t(S+2),時刻t+nにおいて,被写体が撮像されることにより,カラー被写体像C(S+2),Cnなどが得られ,固定された特定色範囲を用いて,それらのカラー被写体像C(S+2),Cnなどがグレー化処理されて得られる非特定色グレー化被写体像G(S+2),Gnなどが得られる。得られた非特定色グレー化被写体像G(S+2),Gnなどが表示装置29の表示画面に表示される。
図3に戻って,ディジタル・スチル・カメラに特定色範囲の解除指示が与えられると(ステップ52でYES),図2および図4に示すステップ41からの処理に戻る。再び,被写体が撮像され,特定色固定指示があるまで,特定色範囲の決定処理が繰り返される。
時刻t+(n+1)において,シャッタ・レリーズ・ボタンが全押しされることにより本撮像指示がディジタル・スチル・カメラに与えられると(ステップ53でYES),被写体が撮像され(ステップ54),被写体像を表わすカラー被写体像C(n+1)が得られる。得られたカラー被写体像C(n+1)について,固定された特定色範囲外がグレー化される(ステップ55)。非特定色グレー化被写体像G(n+1)が表示装置29の表示画面に表示される(ステップ56)。また,非特定色グレー化被写体像G(n+1)を表わす画像データが外部メモリ27に記録される(ステップ57)。もっとも,上述したように,表示装置29の表示画面には,非特定色グレー化被写体像G(n+1)を表示し,外部メモリ29にはグレー化処理が行われていないカラー被写体像C(n+1)を表わす画像データが記録されるようにしてもよいし,非特定色グレー化被写体像G(n+1)を表わす画像データおよびグレー化処理が行われていないカラー被写体像C(n+1)を表わす画像データの両方の画像データが記録されるようにしてもよい。
上述の処理が行われることにより,ユーザは煩雑な特定色範囲の設定操作と結果の確認とを繰り返し行うことなく,任意のグレー化処理結果をリアルタイムに確認しながら,特定色範囲を設定して撮像できるようになる。被写体像の記録までの時間を短縮でき,目標とする主要被写体が動いていても,確実に主要被写体を記録できるようになる。
上述の実施例においては,色ヒストグラムは横軸が色相,縦軸が色相の頻度を表わす一次元の色ヒストグラムが利用されているが,CrおよびCbの色差を軸にとり,それらの色差の頻度を表わす二次元の色ヒストグラム,R,G,Bの色を軸にとり,それらの色の頻度を表わす三次元の色ヒストグラムなどを利用してもよい。また,最も高い頻度の色相を中心に一定の固定範囲を特定色範囲とせずに,色ヒストグラムの分散値をもとに最も高い頻度の色相から特定色範囲を決定してもよいし,頻度が一定以上の色相を特定色範囲とするように色ヒストグラムの状態に応じて特定色範囲を決定するようにしてもよい。
さらに,色ヒストグラムから得られる最も高い頻度の色相を代表色とするのではなく,カラー被写体像の彩度を検出し,最も高い彩度を与える色を代表色としてもよい。さらに,代表色は必ずしも一色でなく,複数の色でもよい。さらに,上述の実施例では,シャッタ・レリーズ・ボタンの半押しが特定色範囲の固定指示とされているが,シャッタ・レリーズ・ボタンの半押しとは別の固定指示ボタン(タッチ・パネルから固定指示が与えられる場合には固定指示領域)を設け,その固定指示ボタンから特定色範囲の固定指示がディジタル・スチル・カメラに与えられるようにしてもよい。特定色範囲の解除指示のためのボタン(タッチ・パネルから解除指示が与えられる場合には解除指示領域)がディジタル・スチル・カメラの操作装置11に含まれているのはいうまでもない。
また,上述の実施例では,特定色範囲外のカラー被写体像の色をグレーとし,特定色範囲内のカラー被写体像の色をグレー化処理から除外しているが,特定色範囲内のカラー被写体像の色をグレーとし,特定色範囲外のカラー被写体像の色をグレー化処理から除外するようにしてもよい。
図9および図10は,変形例を示している。図9はディジタル・スチル・カメラの処理手順を示すフローチャートで,図2のフローチャートに対応している。図9において,図2に示す処理と同一の処理については同一符号を付している。図10は特定色範囲を決定する処理までの流れを示すもので,図8に対応している。
上述した実施例では,1フレームのカラー被写体像から一つの色ヒストグラムが生成され,その生成された一つの色ヒストグラムを利用して特定色範囲が決定されている。これに対して,この変形例では,複数フレームのカラー被写体像のそれぞれから複数の色ヒストグラムが生成され,生成された複数の色ヒストグラムの重み付け平均から得られる色ヒストグラムを利用して特定色範囲が決定される。
ディジタル・スチル・カメラが撮像モードに設定され,被写体が撮像されることにより(図9ステップ41),図10に示すカラー被写体像C1が得られる。得られたカラー被写体像C1から図10に示すように色ヒストグラム60が生成される(図9ステップ42)。
最初の撮像の場合には(図9ステップ71),複数のカラー被写体像を利用することができないので,上述したのと同様に1フレームのカラー被写体像から一つの色ヒストグラムが生成され,その生成された一つの色ヒストグラムを利用して特定色範囲が決定され,固定指示があれば,決定した特定色範囲に固定される(図9ステップ48)。最初の撮像でなければ(図9ステップ71でNO),次の撮像が行われ(図9ステップ72),図10に示すカラー被写体像C2が得られる。得られたカラー被写体像C2から図10に示すように色ヒストグラム61が生成される(図9ステップ73)。
複数のカラー被写体像C1およびC2(これらの複数のカラー被写体像は連続して撮像されたものでもよいし,連続して撮像されていないものでもよい)から,複数の色ヒストグラム60および61が得られると,それらの複数の色ヒストグラム60および61が重み付け平均され(図9ステップ74),図10に示すように重み付け平均された色ヒストグラム62が得られる。重み付け平均により得られた色ヒストグラム62から特定色範囲が決定される。上述したように,最も高い頻度の色相を中心に一定の固定範囲を特定色範囲としてもよいし,色ヒストグラムの分散値をもとに最も高い頻度の色相から特定色範囲を決定してもよいし,頻度が一定以上の色相を特定色範囲とするように色ヒストグラムの状態に応じて特定色範囲を決定するようにしてもよい。また,色ヒストグラムは,CrおよびCbの色差を軸にとり,それらの色差の頻度を表わす二次元の色ヒストグラム,R,G,Bの色を軸にとり,それらの色の頻度を表わす三次元の色ヒストグラムなどを利用して重み付け平均された色ヒストグラムを生成してもよい。
図11は,他の変形例を示すもので,非特定色グレー化被写体像を生成する処理手順を示している。図11は,図4に対応している。
この変形例は,特定色範囲を決定するのに利用されたカラー被写体像の後に撮像されたカラー被写体像に対して,すでに決定されている特定色範囲を利用してグレー化処理を行うものである。
上述のように,撮像モードが設定されると,時刻t1において被写体が撮像され(ステップ41),カラー被写体像C1が得られる。上述のように,得られたカラー被写体像C1を用いた色ヒストグラムの生成,代表色の決定および特定色範囲の決定が行われる(ステップ42−44)。
時刻t2となると,被写体が再び撮像され(ステップ41),次のカラー被写体像C2が得られる。得られたカラー被写体像C2について,カラー被写体像C2よりも前に撮像されたカラー被写体像C1にもとづいて上述のように決定した特定色範囲外の色がグレーとなるようにグレー化処理が行われる(ステップ45A)。このようにして得られた非特定色グレー化被写体像G2Aが表示装置29の表示画面に表示される(ステップ46)。非特定色グレー化被写体像G2Aは,グレー化処理の対象となるカラー被写体像C2が得られる前から特定色範囲の決定が済んでいる,あるいは特定色範囲の決定の準備が行われているから,比較的迅速に表示させることができる。
また,時刻t2における撮像により得られたカラー被写体像C2を利用して色ヒストグラム生成,代表色の決定および特定色範囲の決定処理が行われ,カラー被写体像C2よりも後に撮像されるカラー被写体像C3についてのグレー化処理に利用されることとなる。カラー被写体像C3についてグレー化処理された非特定色グレー化被写体像G3Aが表示装置29の表示画面に表示される。
上述した変形例では,グレー化処理の対象となるカラー被写体像C2の直前に撮像されたカラー被写体像C1にもとづいて得られる特定色範囲を用いて,特定色範囲を決定するのに利用されたカラー被写体像C1の直後に撮像されたカラー被写体像C2のグレー化処理が行われているが,グレー化処理の対象となるカラー被写体像C2の直前に撮像されたカラー被写体像C1ではなく数フレーム前に撮像されたカラー被写体像にもとづいて得られる特定色範囲を用いて,グレー化処理が行われるようにしてもよい。また,色ヒストグラムは撮像ごとに急激に変化することは少ないと考えられるので,特定色範囲は撮像ごとに算出する必要はなく,一定間隔の撮像ごとに得られるカラー被写体像にもとづいて算出するようにしてもよい。
図12は,さらに他の変形例を示すもので,上述のようにして得られた非特定色グレー化被写体像G1を示している。
非特定色グレー化被写体像G1には,注目領域枠80が表示されている。
上述した実施例では,撮像により得られたカラー被写体像の全体から色ヒストグラムが生成され,上述のように特定色範囲が決定されるが,この変形例では,撮像により得られたカラー被写体像のうち,注目領域枠80内の画像に対応する部分を用いて色ヒストグラムが生成され,上述のように特定色範囲が決定される。注目領域枠80は,カラー被写体像の中央部分に相当する位置に既定されてもよいし,その他の位置に既定されてもよい。
図12に示す例では,注目領域枠80は,自動車の被写体像IMが多く含まれるように設定されているので,空の被写体像ISや道路の被写体像IRのそれぞれの色が特定色範囲の決定に影響を与えてしまうのを未然に防止できる。所望の被写体像部分にもとづいて特定色範囲を決定できるようになる。また,注目領域枠80が表示されるので,ユーザの所望の特定色範囲が設定されていない場合にはディジタル・スチル・カメラを動かす(たとえば,自動車の車体の色を特定色範囲として設定したい場合には,その車体に注目領域枠80が表示されるようにディジタル・スチル・カメラを動かす)ことにより,所望の特定色範囲が設定されるようにできる。もっとも,注目領域枠80を必ずしも表示させなくともよい。
また,注目領域枠80は,中央部分に固定するほか,ディジタル・スチル・カメラから近距離にある被写体を表わす被写体像に対して設定されるようにしてもよいし,動きのある被写体像を検出し,その被写体像に対して設定されようにしてもよい。このような場合には,被写体までの距離を測定する測定装置,動体検出装置などがディジタル・スチル・カメラに設けられるのはいうまでもない。
図13および図14は,色相とグレー化処理に用いられる彩度係数との関係を示している。横軸が色相であり,縦軸が彩度係数である。
図13を参照して,上述のようにして特定色範囲が決定されると,その特定色範囲外の色については彩度が無くなるようにグレー化処理が行われる。このために,特定色範囲内の色については1の彩度係数が用いられてグレー化処理が行われ(彩度が変化しない),特定色範囲外の色については0の彩度係数が用いられてグレー化処理が行われる(彩度が無くなる)。
しかしながら,図13にグラフGr1で示すように特定色範囲の境界の箇所で彩度係数が0から1または1から0に急激に変わると,その境界の箇所に境界線が明確に現れてしまうことがある。たとえば,上述したように自動車の車体の緑が特定色範囲と決定された場合において,自動車の車体の緑色が徐々に淡くなったり,徐々に別の色に変化したりするときには,特定色範囲外と判断される色の部分に境界線が発生してしまう。このために,非特定色グレー化被写体像が見づらいものとなってしまう。この変形例は,そのような境界線が発生するのを未然に防止するものである。
図14に示す色相と彩度係数を表わすグラフGr2では,特定色範囲外の色相に対応する彩度係数は0であるが,特定色範囲内の色相に対応する彩度係数のすべてが1ではない。特定色範囲の中心の色相に対応する彩度係数は1であるが,特定色範囲の中心から離れるにしたがって徐々に小さくなり,特定色範囲の境界で0となる。このような色相と彩度係数との関係にもとづいてグレー化処理が行われると,特定色範囲の境界部分は徐々に彩度が小さくなり上述したような境界線が発生してしまうことを未然に防止できる。
図14に示すグラフGr2の例では,特定色範囲外をグレー化処理する場合であるが,特定色範囲内をグレー化処理する場合には,図14のグラフGr3に示すように特定範囲外の彩度係数を1として,特定色範囲の中心を0とし,かつ特定色範囲の境界に近づくにつれて徐々に彩度係数が1に近づくようにしてもよい。また,特定色範囲内は彩度係数を1または0とし,特定色範囲の境界から特定色範囲外に離れるにしたがって彩度係数が徐々に0または1に近づくようにしてもよい。
上述した実施例では,特定色範囲外または特定色範囲内の色については彩度係数を0にしてグレー化処理しているが,必ずしも彩度係数を0にしなくともよい。彩度係数を1未満にしてグレー化処理するようにしてもよい。
図15から図19は,さらに他の変形例を示している。この変形例は,あらかじめ特定色保持領域を設定しておき,特定色保持領域内の特定色範囲内の色のみを残すグレー化処理されるものである。特定色保持領域外であると,特定色範囲内の色であってもグレー化される。
図15は,撮像により得られたカラー被写体像C3の一例である。
カラー被写体像C3には,特定色保持領域枠81が設定されている。上述したように,非特定色グレー化被写体像が生成される前にカラー被写体像C3が表示され,その表示されているカラー被写体像C3を見ながら特定色保持領域枠81がユーザによって設定されるが,非特定色グレー化被写体像が生成され,生成された非特定色グレー化被写体像を表示して,表示されている非特定色グレー化被写体像を見ながら特定色保持領域枠81を設定するようにしてもよい。表示装置29の表示画面にタッチ・パネルが形成されていれば,そのタッチ・パネルをなぞる,あるいはタッチすることにより特定色保持領域枠81を設定できるし,操作装置11内に設定ボタンを設けてもよい。もっとも,顔検出,動体検出により検出された顔,動体部分を特定色保持領域としてもよい。ディジタル・スチル・カメラから被写体までの距離が所定距離よりも近い部分を特定色保持領域としてもよい。また,特定色保持領域枠は,非特定色グレー化画像が表示される前にカラー被写体像が表示される場合には,そのカラー被写体像上に表示してもよいし,表示させなくともよい。また,非特定色グレー化画像に特定色保持領域枠を表示させるようにしてもよいし,表示させなくともよい。
特定色保持領域81が設定されると,上述のように,カラー被写体像C3のうち,設定された特定色保持領域枠81内の特定色範囲内の色のみが残される。特定色保持領域枠81内であれば,特定色範囲外の色はグレー化され,特定色保持領域枠81外であれば,特定色範囲内外に関わらずグレー化される。特定色範囲は,カラー被写体像C3の全体から決定してもよいし,図12に示したように注目領域枠80内のカラー被写体像部分から決定してもよい。図12に示したように注目領域枠80内のカラー被写体像部分から特定色範囲が決定される場合には,特定色保持領域81と注目領域枠80とを共通としてもよいし,別領域としてもよい。
図16は,非特定色グレー化被写体像G3Aの一例である。
図15に示すように,緑色のヘルメットが特定色保持領域枠81内に入っている場合において特定色範囲が緑と同一と見なせる範囲に決定されていると,図16に示すように,特定色保持領域枠81内に入っているヘルメットの緑色(ハッチングで示す)のみが残り,特定色保持領域枠81外の自動車の車体の色は特定色範囲に含まれていてもグレーとされる。所望の主要被写体部分(例えば,ヘルメット)のみの色を残すことができる。
しかしながら,特定色保持領域枠81内に所望の主要被写体部分のすべてが含まれていれば,上述のようにその主要被写体部分全体のカラーを残すことができるが,特定色保持領域枠81内に所望の主要被写体像部分の一部しか含まれていない場合には,主要被写体像部分の一部の色が残り,残りの部分がグレー化されてしまう。見栄えの悪い非特定色グレー化被写体像が表示されてしまう。
図17から図19は,上述のように見栄えの悪い非特定色グレー化被写体像が表示されないようにするものである。
図17は,撮像により得られたカラー被写体像C0の一例である。
撮像により得られたカラー被写体像C0が色ごとの領域に分割される。図6に示したカラー被写体像C1と同様に,空ISは水色の領域Aaであり,ビルIBには建物として白の領域Abおよび窓の領域Ac,Ad,AeおよびAfが含まれている。道路IRは茶色の領域Agであり,自動車IMには車体として緑の領域Aj,タイヤとして黒の領域AkおよびAo,ホイールとして銀色の領域AlおよびAn,ナンバーとして白の領域Amがある。また,自動車IMのドライバーの顔として肌色の領域Aiおよびヘルメットの緑の領域Ahがある。カラー被写体像C0が領域AaからAoに分割される。
また,特定色保持領域枠81がカラー被写体像C1のほぼ中央に設定されているものとする。また,特定色範囲は自動車の車体の色である緑であり,特定色保持領域枠81には自動車の車体の一部が含まれているものとする。
図18は,非特定色グレー化被写体像G0Aの一例である。
上述のように,特定色範囲は自動車の車体の色である緑であり,特定色保持領域枠81には自動車の車体の一部82が含まれており,自動車の車体の全部は含まれていない場合には,その車体の一部82の色のみがカラーとして残り,自動車の車体の残りの部分を含め総てグレーとされてしまう。このために,上述のように見栄えの悪い非特定色グレー化被写体像G0Aとなってしまう。
このために,この変形例では,図19に示す非特定色グレー化被写体像G0Bが得られるように自動車の車体の領域Ajのすべての色が残るようにグレー化処理が行われる。
図18に示すように,車体の一部82の色のみがカラーとして残らないように,その一部82が含まれている自動車の車体全体の領域Ajを除いてグレー化処理が行われる。車体の一部82が含まれている自動車の車体全体の領域Ajの色がカラーとして残るので,非特定色グレー化被写体像G3Cの見栄えが良くなる。このようにして,色がカラーとして残る領域Ajを新たな特定色保持領域としてもよい。この例であれば,自動車の車体が特定色保持領域とされるので,自動車が動いていてもその車体の色を残し,他の部分をグレーとすることができる。
また,図14に示したように,特定色範囲の境界部分では彩度が徐々に弱く(または強く)なるようにグレー化処理が行われるようにしてもよい。
以上,この発明の撮像装置の実施形態として,デジタル・スチル・カメラについて説明してきたが,撮像装置の構成はこれに限定されない。撮像装置としては,ディジタル・ムービ・ビデオ・カメラ,内蔵型もしくは外付け型のPC(パーソナル・コンピュータ)用カメラ,または,以下に説明するような,撮影機能を有する携帯端末装置とすることができる。
この発明の撮像装置の一実施形態である携帯端末装置としては,例えば,携帯電話機やスマートフォン,PDA(Personal Digital Assistants),携帯型ゲーム機が挙げられる。以下,スマートフォンを例に挙げ,図面を参照しつつ,詳細に説明する。
図20は,この発明の撮像装置の一実施形態であるスマートフォン91の外観を示すものである。図20に示すスマートフォン91は,平板状の筐体92を有し,筐体92の一方の面に表示部としての表示パネル111と,入力部としての操作パネル112とが一体となった表示入力部110を備えている。また,係る筐体92は,スピーカ121と,マイクロフォン122,操作部130と,カメラ部131とを備えている。なお,筐体92の構成はこれに限定されず,例えば,表示部と入力部とが独立した構成を採用したり,折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図21は,図20に示すスマートフォン91の構成を示すブロック図である。図21に示すように,スマートフォン91の主たる構成要素として,無線通信部100と,表示入力部110と,通話部120と,操作部130と,カメラ部131と,記憶部140と,外部入出力部150と,GPS(Global Positioning System)受信部160と,モーションセンサ部170と,電源部180と,主制御部190とを備える。また,スマートフォン91の主たる機能として,基地局装置BSと移動通信網NWとを介した移動無線通信を行う無線通信機能を備える。
無線通信部100は,主制御部190の指示にしたがって,移動通信網NWに収容された基地局装置BSに対し無線通信を行うものである。係る無線通信を使用して,音声データ,画像データ等の各種ファイルデータ,電子メールデータなどの送受信や,Webデータやストリーミング・データなどの受信を行う。
表示入力部110は,主制御部190の制御により,画像(静止画像および動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに,表示した情報に対するユーザ操作を検出する,いわゆるタッチ・パネルであって,表示パネル111と,操作パネル112とを備える。
表示パネル111は,LCD(Liquid Crystal Display),OELD(Organic Electro-Luminescence Display)などを表示ディバイスとして用いたものである。操作パネル112は,表示パネル111の表示面上に表示される画像を視認可能に載置され,ユーザの指や尖筆によって操作される一または複数の座標を検出するディバイスである。係るディバイスをユーザの指や尖筆によって操作すると,操作に起因して発生する検出信号を主制御部190に出力する。次いで,主制御部190は,受信した検出信号に基づいて,表示パネル111上の操作位置(座標)を検出する。
図20に示すように,この発明の撮像装置の一実施形態として例示しているスマートフォン91の表示パネル111と操作パネル112とは一体となって表示入力部110を構成しているが,操作パネル112が表示パネル111を完全に覆うような配置となっている。係る配置を採用した場合,操作パネル112は,表示パネル111外の領域についても,ユーザ操作を検出する機能を備えてもよい。換言すると,操作パネル112は,表示パネル111に重なる重畳部分についての検出領域(以下,表示領域と称する)と,それ以外の表示パネル111に重ならない外縁部分についての検出領域(以下,非表示領域と称する)とを備えていてもよい。
なお,表示領域の大きさと表示パネル111の大きさとを完全に一致させても良いが,両者を必ずしも一致させる必要は無い。また,操作パネル112が,外縁部分と,それ以外の内側部分の2つの感応領域を備えていてもよい。更に,外縁部分の幅は,筐体92の大きさなどに応じて適宜設計されるものである。更にまた,操作パネル112で採用される位置検出方式としては,マトリクススイッチ方式,抵抗膜方式,表面弾性波方式,赤外線方式,電磁誘導方式,静電容量方式などが挙げられ,いずれの方式を採用することもできる。
通話部120は,スピーカ121やマイクロフォン122を備え,マイクロフォン122を通じて入力されたユーザの音声を主制御部190にて処理可能な音声データに変換して主制御部190に出力したり,無線通信部100または外部入出力部150により受信された音声データを復号してスピーカ121から出力したりするものである。また,図20に示すように,例えば,スピーカ121を表示入力部110が設けられた面と同じ面に搭載し,マイクロフォン122を筐体92の側面に搭載することができる。
操作部130は,キー・スイッチなどを用いたハードウェア・キーであって,ユーザからの指示を受け付けるものである。例えば,図20に示すように,操作部130は,スマートフォン91の筐体92の側面に搭載され,指などで押下されるとオンとなり,指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部140は,主制御部190の制御プログラムや制御データ,アプリケーションソフトウェア,通信相手の名称や電話番号などを対応づけたアドレスデータ,送受信した電子メールのデータ,WebブラウジングによりダウンロードしたWebデータや,ダウンロードしたコンテンツデータを記憶し,またストリーミングデータなどを一時的に記憶するものである。また,記憶部140は,スマートフォン内蔵の内部記憶部141と着脱自在な外部メモリ・スロットを有する外部記憶部142により構成される。なお,記憶部140を構成するそれぞれの内部記憶部141と外部記憶部142とは,フラッシュ・メモリ・タイプ(flash memory type),ハード・ディスク・タイプ(hard disk type),マルチメディア・カード・マイクロ・タイプ(multimedia card micro type),カード・タイプのメモリ(例えば,MicroSD(登録商標)メモリ等),RAM(Random Access Memory),ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部150は,スマートフォン91に連結される全ての外部機器とのインターフェイスの役割を果たすものであり,他の外部機器に通信等(例えば,ユニバーサル・シリアル・バス(USB),IEEE1394など)又はネットワーク(例えば,インターネット,無線LAN,ブルートゥース(Bluetooth)(登録商標),RFID(Radio Frequency Identification),赤外線通信(Infrared Data Association:IrDA)(登録商標),UWB(Ultra Wideband)(登録商標),ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン91に連結される外部機器としては,例えば,有/無線ヘッドセット,有/無線外部充電器,有/無線データポート,カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード,オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器,無線接続される外部オーディオ・ビデオ機器,有/無線接続されるスマートフォン,有/無線接続されるパーソナルコンピュータ,有/無線接続されるPDA,有/無線接続されるパーソナルコンピュータ,イヤホンなどがある。外部入出力部は,このような外部機器から伝送を受けたデータをスマートフォン91の内部の各構成要素に伝達することや,スマートフォン91の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部160は,主制御部190の指示にしたがって,GPS衛星ST1〜STnから送信されるGPS信号を受信し,受信した複数のGPS信号に基づく測位演算処理を実行し,当該スマートフォン91の緯度,経度,高度からなる位置を検出する。GPS受信部160は,無線通信部100や外部入出力部150(例えば,無線LAN)から位置情報を取得できる時には,その位置情報を用いて位置を検出することもできる。
モーションセンサ部170は,例えば,3軸の加速度センサなどを備え,主制御部190の指示にしたがって,スマートフォン91の物理的な動きを検出する。スマートフォン91の物理的な動きを検出することにより,スマートフォン91の動く方向や加速度が検出される。係る検出結果は,主制御部190に出力されるものである。
電源部180は,主制御部190の指示にしたがって,スマートフォン91の各部に,バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部190は,マイクロ・プロセッサを備え,記憶部140が記憶する制御プログラムや制御データにしたがって動作し,スマートフォン91の各部を統括して制御するものである。また,主制御部190は,無線通信部100を通じて,音声通信やデータ通信を行うために,通信系の各部を制御する移動通信制御機能と,アプリケーション処理機能を備える。
アプリケーション処理機能は,記憶部140が記憶するアプリケーション・ソフトウェアにしたがって主制御部190が動作することにより実現するものである。アプリケーション処理機能としては,例えば,外部入出力部150を制御して対向機器とデータ通信を行う赤外線通信機能や,電子メールの送受信を行う電子メール機能,Webページを閲覧するWebブラウジング機能などがある。
また,主制御部190は,受信データやダウンロードしたストリーミング・データなどの画像データ(静止画像や動画像のデータ)に基づいて,映像を表示入力部110に表示する等の画像処理機能を備える。画像処理機能とは,主制御部190が,上記画像データを復号し,係る復号結果に画像処理を施して,画像を表示入力部110に表示する機能のことをいう。
更に,主制御部190は,表示パネル111に対する表示制御と,操作部130,操作パネル112を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により,主制御部190は,アプリケーション・ソフトウェアを起動するためのアイコンや,スクロール・バーなどのソフトウェア・キーを表示したり,あるいは電子メールを作成するためのウインドウを表示する。なお,スクロール・バーとは,表示パネル111の表示領域に収まりきれない大きな画像などについて,画像の表示部分を移動する指示を受け付けるためのソフトウェア・キーのことをいう。
また,操作検出制御の実行により,主制御部190は,操作部130を通じたユーザ操作を検出したり,操作パネル112を通じて,上記アイコンに対する操作や,上記ウインドウの入力欄に対する文字列の入力を受け付けたり,あるいは,スクロール・バーを通じた表示画像のスクロール要求を受け付ける。
更に,操作検出制御の実行により主制御部190は,操作パネル112に対する操作位置が,表示パネル111に重なる重畳部分(表示領域)か,それ以外の表示パネル111に重ならない外縁部分(非表示領域)かを判定し,操作パネル112の感応領域や,ソフトウェア・キーの表示位置を制御するタッチ・パネル制御機能を備える。
また,主制御部190は,操作パネル112に対するジェスチャ操作を検出し,検出したジェスチャ操作に応じて,予め設定された機能を実行することもできる。ジェスチャ操作とは,従来の単純なタッチ操作ではなく,指などによって軌跡を描いたり,複数の位置を同時に指定したり,あるいはこれらを組み合わせて,複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部131は,CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また,カメラ部131は,主制御部190の制御により,撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し,記憶部140に記録したり,入出力部150や無線通信部100を通じて出力したりすることができる。図20に示すにスマートフォン91において,カメラ部131は表示入力部110と同じ面に搭載されているが,カメラ部131の搭載位置はこれに限らず,表示入力部110の背面に搭載されてもよいし,あるいは,複数のカメラ部131が搭載されてもよい。なお,複数のカメラ部131が搭載されている場合には,撮像に供するカメラ部131を切り替えて単独にて撮影したり,あるいは,複数のカメラ部131を同時に使用して撮影したりすることもできる。
また,カメラ部131はスマートフォン91の各種機能に利用することができる。例えば,表示パネル111にカメラ部131で取得した画像を表示することや,操作パネル112の操作入力のひとつとして,カメラ部131の画像を利用することができる。また,GPS受信部160が位置を検出する際に,カメラ部131からの画像を参照して位置を検出することもできる。さらに,カメラ部131からの画像を参照して,3軸の加速度センサを用いずに,あるいは,3軸の加速度センサと併用して,スマートフォン91のカメラ部131の光軸方向を判断することや,現在の使用環境を判断することもできる。もちろん,カメラ部131からの画像をアプリケーション・ソフトウェア内で利用することもできる。
その他,静止画または動画の画像データにGPS受信部160により取得した位置情報,マイクロフォン122により取得した音声情報(主制御部等により,音声テキスト変換を行ってテキスト情報となっていてもよい),モーション・センサ部170により取得した姿勢情報等などを付加して記録部140に記録したり,入出力部150や無線通信部100を通じて出力したりすることもできる。
4 CMOSセンサ(カラー撮像手段)
10 CPU(撮像制御手段,彩度調整制御手段)
32 代表色決定装置(特定色決定手段)
33 特定色範囲決定装置(特定色範囲決定手段)
34 グレー化処理装置(彩度調整手段)
C0,C1,C2,C3,CS,C(S+2),Cn,C(n+1) カラー被写体像
G0A,G0B,G1,G2,G2A,G3A,G3B,GS,G(S+2),Gn,G(n+1) 非特定色グレー化被写体像

Claims (10)

  1. 被写体を撮像し,カラー被写体像を表わすカラー画像データを出力するカラー撮像手段,
    上記カラー被写体像を解析し,上記カラー被写体像から特定色を決定する特定色決定手段,
    上記特定色決定手段によって決定した特定色と実質的に同一の色と見なせる色の範囲を示す特定色範囲を決定する特定色範囲決定手段,
    上記カラー被写体像の色の彩度を変化させるものであって,上記特定色範囲決定手段によって決定した特定色範囲内の色または特定色範囲外の色の彩度を変化させる彩度調整手段,
    上記彩度調整手段によって色の彩度が変化させられたカラー被写体像を表示するように表示装置を制御する表示制御手段,
    上記カラー撮像手段,上記特定色決定手段,上記特定色範囲決定手段,上記彩度調整手段,および上記表示制御手段により,カラー被写体像の生成処理,特定色決定処理,特定色範囲決定処理,彩度調整処理,およびカラー被写体像の表示制御処理を繰り返すように制御する撮像制御手段,ならびに
    特定色固定指示を受け付けた後は,上記特定色固定指示により固定される特定色範囲にもとづいて上記カラー被写体像の彩度調整を行うように彩度調整手段を制御する彩度調整制御手段,
    を備えた撮像装置。
  2. 上記特定色決定手段は,
    上記カラー被写体像の一部である特定色保持領域内の注目画像の特定色を,上記カラー被写体像の特定色と決定するものであり,
    上記彩度調整手段は,
    上記カラー被写体像のうち上記特定色保持領域外の色の彩度を変化させるものであって,上記特定色範囲決定手段によって決定した特定色範囲外の色の彩度を低下させるものである,
    請求項1に記載の撮像装置。
  3. 上記カラー被写体像を色ごとの領域に分割する色領域分割手段をさらに備え,
    上記彩度調整手段は,
    上記カラー被写体像のうち上記特定色保持領域外の色の彩度を変化させるものであって,上記特定色範囲決定手段によって決定した特定色範囲外の色の彩度を,上記特定色保持領域内において上記特定色決定手段によって決定された特定色が含まれる部分を含む領域を除いて低下させるものである,
    請求項2に記載の撮像装置。
  4. 上記特定色範囲決定手段は,
    連続した複数回の撮像により得られる複数のカラー被写体像にもとづいて,カラー被写体像ごとに決定される複数の特定色範囲の重み付け平均により得られる重み付け特定色範囲を,特定色範囲と決定するものである,
    請求項1から3のうち,いずれか一項に記載の撮像装置。
  5. 上記彩度調整手段は,
    上記特定色範囲決定手段によって決定した特定色範囲に用いられたカラー被写体像の後に撮像されたカラー被写体像の色の彩度を変化させるものであって,上記特定色範囲決定手段によって決定した特定色範囲内の色または特定色範囲外の色の彩度を変化させるものである,
    請求項1から4のうち,いずれか一項に記載の撮像装置。
  6. 上記特定色決定手段は,
    上記カラー被写体像の一部である注目領域内の注目画像の特定色を,上記カラー被写体像の特定色と決定するものである,
    請求項1,3,4または5のうち,いずれか一項に記載の撮像装置。
  7. 上記表示制御手段の制御のもとに表示されるカラー被写体像に,上記注目領域の範囲を表示するように上記表示装置を制御する注目領域表示制御手段,
    をさらに備えた請求項6に記載の撮像装置。
  8. 上記彩度調整手段は,
    上記特定色範囲決定手段によって決定した特定色範囲の境界近傍において,上記カラー被写体像の色の彩度を徐々に変化させるものである,
    請求項1から7のうち,いずれか一項に記載の撮像装置。
  9. 上記彩度調整制御手段は,
    上記特定色固定指示によって固定された特定色範囲の境界近傍において,上記カラー被写体像の色の彩度を徐々に変化させるように上記彩度調整手段を制御するものである,
    請求項1から8のうち,いずれか一項に記載の撮像装置。
  10. カラー撮像手段が,被写体を撮像し,カラー被写体像を表わすカラー画像データを出力し,
    特定色決定手段が,上記カラー被写体像を解析し,上記カラー被写体像から特定色を決定し,
    特定色範囲決定手段が,上記特定色決定手段によって決定した特定色と実質的に同一の色と見なせる色の範囲を示す特定色範囲を決定し,
    彩度調整手段が,上記カラー被写体像の色の彩度を変化させるものであって,上記特定色範囲決定手段によって決定した特定色範囲内の色または特定色範囲外の色の彩度を変化させ,
    表示制御手段が,上記彩度調整手段によって色の彩度が変化させられたカラー被写体像を表示するように表示装置を制御し,
    撮像制御手段が,上記カラー撮像手段,上記特定色決定手段,上記特定色範囲決定手段,上記彩度調整手段,および上記表示制御手段により,カラー被写体像の生成処理,特定色決定処理,特定色範囲決定処理,彩度調整処理,およびカラー被写体像の表示制御処理を繰り返すように制御し,
    彩度調整制御手段が,特定色固定指示を受け付けた後は,上記特定色固定指示により固定される特定色範囲にもとづいて上記カラー被写体像の彩度調整を行うように彩度調整手段を制御する,
    撮像装置の動作制御方法。
JP2014558451A 2013-01-25 2013-11-26 撮像装置およびその動作制御方法 Active JP5832673B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014558451A JP5832673B2 (ja) 2013-01-25 2013-11-26 撮像装置およびその動作制御方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013012204 2013-01-25
JP2013012204 2013-01-25
PCT/JP2013/081779 WO2014115421A1 (ja) 2013-01-25 2013-11-26 撮像装置およびその動作制御方法
JP2014558451A JP5832673B2 (ja) 2013-01-25 2013-11-26 撮像装置およびその動作制御方法

Publications (2)

Publication Number Publication Date
JP5832673B2 true JP5832673B2 (ja) 2015-12-16
JPWO2014115421A1 JPWO2014115421A1 (ja) 2017-01-26

Family

ID=51227224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014558451A Active JP5832673B2 (ja) 2013-01-25 2013-11-26 撮像装置およびその動作制御方法

Country Status (4)

Country Link
US (1) US9948828B2 (ja)
JP (1) JP5832673B2 (ja)
CN (1) CN104871532B (ja)
WO (1) WO2014115421A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6355327B2 (ja) * 2013-12-18 2018-07-11 キヤノン株式会社 画像処理装置及び方法
JP7392341B2 (ja) * 2019-09-17 2023-12-06 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102596A (ja) * 2008-10-26 2010-05-06 Sanyo Electric Co Ltd 画像処理装置
JP2010200270A (ja) * 2009-02-27 2010-09-09 Nikon Corp 画像処理装置、カメラおよびプログラム
JP2011082965A (ja) * 2009-09-08 2011-04-21 Ricoh Co Ltd 撮像装置および撮像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07320024A (ja) 1994-05-20 1995-12-08 Hitachi Ltd 画像処理システムおよび画像処理方法
JP2002118859A (ja) 2000-10-05 2002-04-19 Sony Corp 撮影装置及び撮影方法
JP2004112694A (ja) * 2002-09-20 2004-04-08 Fuji Xerox Co Ltd 色調整方法、色調整装置、色変換定義編集装置、画像処理装置、プログラム、記憶媒体
JPWO2005048583A1 (ja) * 2003-11-14 2007-06-14 三菱電機株式会社 色補正装置および色補正方法
US20090009525A1 (en) 2004-12-02 2009-01-08 Tsuyoshi Hirashima Color Adjustment Device and Method
CN100515093C (zh) * 2005-06-10 2009-07-15 中华映管股份有限公司 图象色彩调整方法
JP5821214B2 (ja) * 2011-02-28 2015-11-24 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN102254307B (zh) * 2011-07-15 2014-03-05 深圳万兴信息科技股份有限公司 一种移色处理方法和装置
CN102447913B (zh) * 2011-12-22 2015-02-18 深圳万兴信息科技股份有限公司 一种移色处理方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102596A (ja) * 2008-10-26 2010-05-06 Sanyo Electric Co Ltd 画像処理装置
JP2010200270A (ja) * 2009-02-27 2010-09-09 Nikon Corp 画像処理装置、カメラおよびプログラム
JP2011082965A (ja) * 2009-09-08 2011-04-21 Ricoh Co Ltd 撮像装置および撮像処理方法

Also Published As

Publication number Publication date
US9948828B2 (en) 2018-04-17
CN104871532A (zh) 2015-08-26
CN104871532B (zh) 2017-03-15
JPWO2014115421A1 (ja) 2017-01-26
WO2014115421A1 (ja) 2014-07-31
US20150256718A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
US9235916B2 (en) Image processing device, imaging device, computer-readable storage medium, and image processing method
EP2903258B1 (en) Image-processing device and method, and image pickup device
US9703070B2 (en) Imaging apparatus and focusing control method
US10298899B2 (en) Image processing device, imaging device, image processing method, and program
JP5982601B2 (ja) 撮像装置及び合焦制御方法
JP5719480B2 (ja) 画像変形装置およびその動作制御方法
US10021361B2 (en) Image processing device, imaging device, image processing method, and program
JP6028112B2 (ja) 撮像装置及び合焦制御方法
JP6307526B2 (ja) 撮像装置及び合焦制御方法
JP5677625B2 (ja) 信号処理装置、撮像装置、信号補正方法
WO2016125352A1 (ja) カメラ装置、撮像システム、制御方法及びプログラム
US10778903B2 (en) Imaging apparatus, imaging method, and program
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5832673B2 (ja) 撮像装置およびその動作制御方法
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
WO2020209097A1 (ja) 画像表示装置、画像表示方法、及びプログラム
JP7085651B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
WO2014073441A1 (ja) 撮像装置およびその動作制御方法
WO2019202983A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体
WO2019181299A1 (ja) 撮像制御装置、撮像装置、撮像制御方法、及び撮像制御プログラム
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151027

R150 Certificate of patent or registration of utility model

Ref document number: 5832673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250