JP4348028B2 - 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム - Google Patents
画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP4348028B2 JP4348028B2 JP2001176521A JP2001176521A JP4348028B2 JP 4348028 B2 JP4348028 B2 JP 4348028B2 JP 2001176521 A JP2001176521 A JP 2001176521A JP 2001176521 A JP2001176521 A JP 2001176521A JP 4348028 B2 JP4348028 B2 JP 4348028B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- dimensional coordinate
- coordinate position
- image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影された画像中の所望の被写体像を抽出し、或いは撮影された画像を被写体毎に分割するための画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムに関する。
【０００２】
【従来の技術】
近年、現実世界に存在する素材を電子情報として記録するデジタルビデオカメラやデジタルスチルカメラが急速に普及している。また、これらのカメラによって取得された画像に加工・処理を施すことにより、再利用を図るという事例が見られるようになった。その中でも、画像中の特定の被写体を抽出する技術は、例えば抽出した被写体をクリップアートのような素材として再利用する、又は、画像を個々の被写体毎に分割することにより、画像の管理・検索に役立てるなど、幅広い応用が可能である。
【０００３】
これらを実現するため、幾つかの従来技術が開示されている。
【０００４】
まず、階調、色、濃度勾配及びテクスチャなど、画像の２次元的な特徴に基づき、画像を領域毎に分割する手法は、一般にセグメンテーションと呼ばれており、従来より数多く提案されている。例えば、文献『画像の処理と認識』(安居院猛・長尾智晴共著、昭晃堂)によると、注目している小領域と、それに隣接する小領域が互いに同じ特徴を持っている場合に、それらを一つの領域に統合する処理を順次実行することによって、特徴が等しい領域を少しずつ成長させる領域成長（region growing）法、領域成長法とは逆に画像全体を開始点とし、一定の特徴を持たない領域を細分化してゆき、最終的に均一な領域になった時点で領域の細分化を停止する分割法、或いは、これらの領域成長法と分割法とを組合せた分割統合法などの手法が知られている。
【０００５】
しかし、これらの手法は被写体の外見的な性質に依存するため、安定的に所望の被写体を抽出することは極めて困難である。
【０００６】
上記の他、被写体までの距離に基づき、画像中から特定のオブジェクトのみを抽出する技術も幾つか提案されている。例えば、特開平９−３１２７９４号公報においては、撮像する被写体を複数ブロックに分割して、これらのブロック毎に被写体までの距離を測定し、撮像した画像と測定された距離を前記ブロック毎にリンクして記憶し、記憶された距離が同一のブロック画像を抽出するという画像処理装置及び方法が開示されている。また、特開平９−３２６０２５号公報においては、撮影毎に複数の領域別に被写体までの距離を測定して距離データとして入力し、撮影毎に画像データと前記複数の領域別の距離データとを対応させて記憶するとともに、抽出距離データを設定し、前記距離データと前記抽出距離データに基づいて、前記画像データの中から前記抽出距離データに対応する画像データのみを抽出する画像処理装置が開示されている。
【０００７】
【発明が解決しようとする課題】
しかし、これらの公報記載の発明においては、予め設定された距離区間又はユーザーにより指定された被写体までの距離に基づいて当該被写体が抽出されるが、ユーザーにとっては実際の被写体までの距離は直観的に把握し難いため、所望の被写体を簡単かつ迅速に抽出するのは困難である。さらに、これらの公報記載の発明に基づいて所望の被写体を抽出しようとすると、図１９に示すように、所望の被写体Ａとほぼ同一の距離に異なる被写体Ｂが写されている場合、被写体Ａの他に不要な被写体Ｂまで抽出されることとなる。
【０００８】
本発明は、上述の点に鑑みてなされたものであり、その第１の目的は、直観的な指示に基づいて、入力又は撮影された画像から所望の被写体を抽出することができる画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムを提供することである。
【０００９】
本発明の第２の目的は、入力又は撮影された画像から、所望の被写体のみを抽出することができる画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムを提供することである。
【００１０】
本発明の第３の目的は、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができる画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムを提供することである。
【００１１】
【課題を解決するための手段】
本発明は、被写体までの距離に基づいて、画像中から所望の被写体を抽出する画像処理方法であって、入力又は撮影された前記画像における被写体までの距離を検出する第１のステップと、前記画像における２次元座標位置を指定する第２のステップと、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する第３のステップと、を有することを特徴とする。
【００１２】
従って、指定された２次元座標位置付近の距離に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００１３】
本発明は、前記の画像処理方法において、前記第３のステップは、指定された前記２次元座標位置における距離と当該２次元座標位置近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、前記被写体を抽出することを特徴とする。
【００１４】
従って、指定された２次元座標位置における距離と当該２次元座標位置の近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第２の目的が達成される。
【００１５】
本発明は、前記の画像処理方法において、前記第３のステップは、前記被写体領域の拡大の可否を、前記画像における被写体までの距離の統計量に基づき判定することを特徴とする。
【００１６】
従って、被写体領域の拡大の可否が、画像における被写体までの距離の統計量に基づき判定されることにより、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第３の目的が達成される。
【００１７】
本発明は、被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像に基づいて、画像中から所望の被写体を抽出する画像処理方法であって、入力又は撮影された前記少なくとも２枚の視差のある画像における視差を検出する第１のステップと、少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する第２のステップと、指定された前記２次元座標位置付近の視差に基づいて、被写体を抽出する第３のステップと、を有することを特徴とする。
【００１８】
従って、指定された２次元座標位置付近の視差に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００１９】
本発明は、前記の画像処理方法において、前記第３のステップは、指定された前記２次元座標位置における視差と当該２次元座標位置近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、前記被写体を抽出することを特徴とする。
【００２０】
従って、指定された２次元座標位置における視差と当該２次元座標位置の近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第２の目的が達成される。
【００２１】
本発明は、前記の画像処理方法において、前記第３のステップは、前記被写体領域の拡大の可否を、前記画像における視差の統計量に基づき判定されることを特徴とする。
【００２２】
従って、被写体領域の拡大の可否が、画像における被写体までの視差の統計量に基づいて判定されることにより、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、被写体を抽出することができ、第３の目的が達成される。
【００２３】
本発明は、被写体までの距離に基づいて、画像中から所望の被写体を抽出する画像処理装置であって、前記画像における２次元座標位置を指定する指定手段と、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する抽出手段と、を有することを特徴とする。
【００２４】
従って、指定された２次元座標位置付近の距離に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００２５】
本発明は、前記の画像処理装置において、前記抽出手段は、指定された前記２次元座標位置における距離と当該２次元座標位置近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、前記被写体を抽出することを特徴とする。
【００２６】
従って、指定された２次元座標位置における距離と当該２次元座標位置の近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第２の目的が達成される。
【００２７】
本発明は、前記の画像処理装置において、前記抽出手段は、前記被写体領域の拡大の可否を、前記画像における被写体までの距離の統計量に基づき判定することを特徴とする。
【００２８】
従って、被写体領域の拡大の可否が、画像における被写体までの距離の統計量に基づき判定されることにより、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第３の目的が達成される。
【００２９】
本発明は、被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像に基づいて、画像中から所望の被写体を抽出する画像処理装置であって、入力又は撮影された少なくとも２枚の視差のある画像における視差を検出する視差検出手段と、少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する指定手段と、指定された前記２次元座標位置付近の視差に基づいて、被写体を抽出する抽出手段と、を有することを特徴とする。
【００３０】
従って、指定された２次元座標位置付近の視差に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００３１】
本発明は、前記の画像処理装置において、前記抽出手段は、指定された前記２次元座標位置における視差と当該２次元座標位置近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、前記被写体を抽出することを特徴とする。
【００３２】
従って、指定された２次元座標位置における視差と当該２次元座標位置の近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第２の目的が達成される。
【００３３】
本記載の発明は、前記の画像処理装置において、前記抽出手段は、前記被写体領域の拡大の可否を、前記画像における視差の統計量に基づき判定することを特徴とする。
【００３４】
従って、被写体領域の拡大の可否が、画像における被写体までの視差の統計量に基づいて判定されることにより、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、被写体を抽出することができ、第３の目的が達成される。
【００３５】
本記載の発明は、前記の画像処理装置において、前記指定手段は、２次元座標位置をポインティングする手段を具備することを特徴とする。
【００３６】
従って、指定手段が２次元座標位置をポインティングする手段を具備することにより、２次元座標位置を直観的に指定でき、第１の目的が達成される。
【００３７】
本記載の発明は、前記の画像処理装置において、前記指定手段は、２次元座標位置を数値入力する手段を具備することを特徴とする。
【００３８】
従って、指定手段が２次元座標位置を数値入力する手段を具備することにより、２次元座標位置を直観的に指定でき、第１の目的が達成される。
【００３９】
本記載の発明は、被写体を撮影し、前記被写体の画像を表す映像信号を発生させる撮像手段を有する撮像装置であって、前記被写体を撮影した画像を記憶する画像メモリと、前記被写体までの距離を検出する距離検出手段と、前記画像メモリに記憶された画像における２次元座標位置を指定する指定手段と、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する抽出手段と、を有することを特徴とする。
【００４０】
従って、指定された２次元座標位置付近の距離に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００４１】
本記載の発明は、被写体を撮影し、前記被写体の画像を表す映像信号を発生させる撮像手段を有する撮像装置であって、前記撮像手段に接続され、前記被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像を記憶する画像メモリと、記憶された少なくとも２枚の視差のある前記画像における視差を検出する視差検出手段と、記憶された少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する指定手段と、指定された前記２次元座標位置付近の視差に基づいて、被写体を抽出する抽出手段と、を有することを特徴とする。
【００４２】
従って、指定された２次元座標位置付近の視差に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００４３】
本記載の発明は、被写体までの距離に基づいて、画像中から所望の被写体を抽出するコンピュータにインストールされ、前記コンピュータに、前記画像及び前記被写体までの距離を入力させる機能と、前記画像における２次元座標位置を指定させる機能と、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出させる機能と、を実行させるコンピュータ読取り可能なコンピュータプログラムである。
【００４４】
従って、指定された２次元座標位置付近の距離に基づいて、被写体を抽出することにより、入力された画像における２次元座標の指定という直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、コンピュータプログラムを利用して第１の目的が達成される。
【００４５】
本記載の発明は、被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像に基づいて、画像中から所望の被写体を抽出するコンピュータにインストールされ、前記コンピュータに、少なくとも２枚の視差のある前記画像を入力させる機能と、少なくとも２枚の視差のある前記画像における視差を検出させる機能と、少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定させる機能と、指定された前記２次元座標位置付近の視差に基づいて、被写体を抽出させる機能と、を実行させるコンピュータ読取り可能なコンピュータプログラムである。
【００４６】
従って、指定された２次元座標位置付近の視差に基づいて、被写体を抽出することにより、入力された画像における２次元座標の指定という直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、コンピュータプログラムを利用して第１の目的が達成される。
【００４７】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図１１に基づいて説明する。図１は、本実施の形態の画像処理装置の基本となるハードウェア構成例を示すブロック図である。この画像処理装置は、当該画像処理装置における各種の制御及び処理を行うＣＰＵ（Central Processing Unit）１１と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２と、ＨＤＤ（Hard Disk Drive）１３と、マウス等のポインティングデバイス、キーボード、ボタン等の各種入力インターフェース（以下“Ｉ／Ｆ”と略す）１４と、電源１５と、表示Ｉ／Ｆ１６を介して接続されるＣＲＴ（Cathode Ray Tube）等のディスプレイ１９と、ＣＤ−ＲＷ（Compact Disk Rewritable）ドライブ等の記録装置１７と、デジタルカメラやプリンタ等の外部機器やインターネット等の電気通信回線と有線又は無線接続するための外部Ｉ／Ｆ１８とを、バスを介して接続することにより構成されている。
【００４８】
ＳＤＲＡＭ１２は、ＣＰＵ１１の作業領域として利用されるとともに、本実施の形態における画像処理方法の各工程（ステップ）を実行するための処理プログラムや、その他制御プログラムなどの固定情報の記憶領域として利用される。処理プログラムは、例えば、記録装置１７を介してＳＤＲＡＭ１２にロードされ、又は、ＨＤＤ１３に一旦保存された後に必要なときにＳＤＲＡＭ１２にロードされ、又は、外部Ｉ／Ｆ１８に接続された電気通信回線を介してＳＤＲＡＭ１２にロードされる。処理の対象となる画像は、記録装置１７又は外部Ｉ／Ｆ１８に接続されたデジタルカメラ等の撮像装置若しくは電気通信回線を介して入力される。
【００４９】
図２は、上述した画像処理装置と同様な機能を備える本実施の形態の撮像装置の基本となるデジタルカメラのハードウェア構成例を示すブロック図である。図１中に示した部分と同一又は相当する部分は同一符号を付して示す。即ち、デジタルカメラにおける各種の制御及び処理を行うＣＰＵ１１と、ＳＤＲＡＭ１２と、ＲＯＭ（Read Only Memory）２０と、ペン等のポインティングデバイスやカメラ本体に設置されたボタン等の各種入力Ｉ／Ｆ１４と、電源１５と、表示Ｉ／Ｆ１６を介して接続されるＬＣＤ（Liquid Crystal Display）２８と、ＣＦ（Compact Flash）カード等の記録装置１７と、プリンタ等の外部機器やインターネットと有線又は無線接続するための外部Ｉ／Ｆ１８とを、バスを介して接続することにより構成される。さらに、レンズ２１と、絞り２２と、シャッター２３と、ＣＣＤ（Charge Coupled Device）等の光電変換素子２４と、この光電変換素子２４のタイミング制御並びに光電変換素子２４により得られた画像信号に対して相関二重サンプリングやアナログ−デジタル変換等のデジタル化処理を行う駆動部２５と、この駆動部２５により得られたデジタル信号に対してＡＷＢ（Automatic White Balance）、エッジ強調やγ補正等の前処理及び画像圧縮／伸長処理を行う前処理回路２６、フォーカス、ズーム、アイリス、シャッタースピード等を制御するためにレンズ２１、絞り２２、シャッター２３を駆動するモータ駆動部２７と、被写体に対してフォーカスを合わせるためにカメラ本体から被写体までの距離を測定する測距部２９とを備えている。
【００５０】
ＲＯＭ２０は、ＣＰＵ１１により実行される所定の命令を記憶する領域として利用されるとともに、本実施の形態における画像処理方法の各工程を実行するための処理プログラムとして利用される。ＳＤＲＡＭ１２は、ＣＰＵ１１の作業領域として利用されるとともに、本実施の形態における画像処理方法の各工程を実行するための処理プログラムや、その他制御プログラムなどの固定情報の記憶領域として利用される。処理プログラムは、例えば、ＲＯＭ２０に予め格納され、又は、記録装置１７を介してＳＤＲＡＭ１２にロードされ、又は、外部Ｉ／Ｆ１８に接続された電気通信回線を介してＳＤＲＡＭ１２にロードされる。制御プログラムは、例えばＲＯＭ２０に予め格納される。
【００５１】
本実施の形態の画像処理装置は、図１に示すような画像処理装置又は図２に示すような撮像装置に適用されるもので、その機能を含む構成例を図３のブロック図に示す。
【００５２】
本実施の形態の画像処理装置1は、信号処理部３２とメモリ制御部３３と主制御部３４と画像メモリとしてのフレームメモリ３５とＩ／Ｆ３６と表示部３７と外部記憶部３８と距離検出手段としての距離測定部３９と指定手段としての座標指定部４０と抽出手段としての被写体抽出部４１とを備える。ここで、撮像部３１は信号処理部３２に接続され、信号処理部３２はメモリ制御部３３と主制御部３４及びＩ／Ｆ３６に接続され、フレームメモリ３５はメモリ制御部３３に接続される。また、距離測定部３９は主制御部３４に接続され、座標指定部４０は主制御部３４とメモリ制御部３３及びフレームメモリ３５に接続され、被写体抽出部４１は距離測定部３９と座標指定部４０及びフレームメモリ３５に接続される。
【００５３】
ここで、図３に示す本実施の形態の画像処理装置１とその前提となる基本ハードウェア構成を示した図１及び図２との対応関係について説明する。図３中の撮像手段としての撮像部３１は、図２に示したレンズ２１、絞り機構２２、シャッター２３、光電変換素子２４、駆動部２５及び前処理回路２６が含まれる。主制御部３４はＣＰＵ１１とＲＯＭ２０とにより構成され、信号処理部３２、メモリ制御部３３及び被写体抽出部４１はＣＰＵ１１により構成される。フレームメモリ３５はＳＤＲＡＭ１２により構成される。Ｉ／Ｆ３６は表示Ｉ／Ｆ１６と外部Ｉ／Ｆ１８を含み、表示部３７はディスプレイ１９又はＬＣＤ２８により構成される。また、外部記憶部３８はＨＤＤ１３又は記録装置１７により構成され、より具体的には、ＣＤ−ＲＷや光磁気ディスクなどが使用できるが、モデムカード等を利用することにより電気通信回線を介して画像信号を直接遠隔地の記録媒体に送信できるようにしても良い。また、距離測定部３９は測距部２９より構成され、座標指定部４０は入力Ｉ／Ｆ１４により構成される。
【００５４】
このような構成の画像処理装置１において、信号処理部３２は、撮像部３１で撮像され又はＩ／Ｆ３６を介して外部から入力された画像に対して所定の処理を施す。また、主制御部３４は画像処理装置を構成する各部を集中的に制御し、フレームメモリ３５はメモリ制御部３３の命令により画像信号を蓄積する。また、表示部３７はＩ／Ｆ３６を介して供給された画像信号を表示し、外部記憶部３８はＩ／Ｆ３６を介して画像信号等の種々の信号を読み書きする。
【００５５】
図３のように構成された各部の動作を具体的に説明する。まず、信号処理部３２は、撮像部３１で撮像され又はＩ／Ｆ３６を介して外部から入力された画像に対して、圧縮や伸長、色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。また、メモリ制御部３３は信号処理部３２において処理された画像信号をフレームメモリ３５に格納したり、その逆にフレームメモリ３５に格納された画像信号を読み出す。そして、この場合にはフレームメモリ３５から読み出された画像信号は、信号処理部３２において圧縮などが施された後、Ｉ／Ｆ３６を介して外部記憶部３８に保存される。また、外部記憶部３８に記憶された画像信号を読み出す場合は、まずＩ／Ｆ３６を介して信号処理部３２に画像信号が供給され、信号処理部３２において画像伸長が施される。一方、外部記憶部３８及びフレームメモリ３５から読み出された画像信号を表示する場合は、まず、読み出された信号が信号処理部３２においてデジタル−アナログ変換（Ｄ／Ａ変換）され、増幅などの信号処理がなされる。そして、このような処理がなされた信号は、Ｉ／Ｆ３６を介して表示部３７に送信される。
【００５６】
また、距離測定部３９は被写体までの距離を測定し、座標指定部４０はフレームメモリ３５に記憶された画像における２次元座標位置を指定し、被写体抽出部４１は被写体までの距離及び指定された２次元座標位置に基づいて、フレームメモリ３５に記憶された画像における所望の被写体を抽出するが、これらの各動作についての詳細は後述する。
【００５７】
次に、本実施の形態に係る画像処理方法を図４のフローチャートを参照して説明する。まず、最初に、ユーザーは撮像部３１により撮影された画像、又は、予め撮影されＩ／Ｆ３６を介して供給された画像を入力する（ステップＳ１）。
【００５８】
撮像部３１により撮影された画像を入力する場合は、この撮影とともに、距離測定部３９により、当該画像に写された被写体までの距離が測定される。ここで、距離測定部３９は、被写体に波動（光、電波、音波）を照射し、被写体からの反射波の伝播時間を測定することにより距離を求めるＴＯＦ（Time of Flight）法、カメラと位置関係が既知の光源からスリット光やスポット光を被写体に照射し、被写体における光像の歪みをカメラで観測して距離を求める光投影法、多眼カメラを用いて被写体を撮影した画像から三角測量法により被写体の３次元形状を計算する多眼立体視などの公知技術により実現される。ここでは、距離測定部３９は光投影法により構成されると仮定して、以下にその構成・動作を説明する。
【００５９】
［距離測定部３９の構成・動作］
図５は距離測定部３９の一例を示す原理的構成図である。図５に示すように、距離測定部３９はスポット光源３９１及び受光素子３９２により構成される。スポット光源３９１は発光ダイオードや半導体レーザー等の光源３９１ａ、ポリゴンミラーなどの走査ミラー３９１ｂ及び走査ミラー３９１ｂの動きを制御する駆動部３９１ｃより構成され、光源３９１ａより発生したスポット光が被写体面に当たるように光の向きを制御する部分であり、その光の向きは駆動部３９１ｃより出力される信号により検出される。受光素子３９２は、スポット光源３９１と位置関係が既知である場所に設置されたＰＳＤ（Position Sensitive Detector）やＣＣＤ等の光電変換素子より構成され、被写体面より戻ってきた反射光の向きを検出する。ここで、受光素子３９２は、撮像部３１における光電変換素子を兼用するという形態で構成されても構わない。
【００６０】
被写体までの距離は、スポット光源３９１の照射したスポット光の向き、スポット光源３９１と受光素子３９２との位置関係、及び、受光素子３９２が検出した反射光の向きより、三角測量の原理で算出される。ここで、走査ミラー３９１ｂを駆動しスポット光を走査することにより、被写体全体の距離を測定することができる。
【００６１】
一方、予め撮影されＩ／Ｆ３６を介して供給された画像を入力する場合は、被写体までの距離も併せてＩ／Ｆ３６を介して入力される。この動作を、以下に説明する。
【００６２】
図６は、同図（ａ）に示す画像と併せて被写体までの距離を、予め測定された被写体までの距離の遠近を画像の濃淡で表現した同図（ｂ）の距離画像という形態で入力するという一例を示した図である。図６における距離画像は、距離が遠い被写体は黒に近い濃度で、近い被写体は白に近い濃度で表現されている。このような距離画像は、例えば、画像の階調が２５６である場合、画像に写された領域における距離の最小値に対しては画素値を２５５、最大値に対しては画素値を０とし、画像中の全領域に対して画素値を距離に反比例させて与えることにより形成される。この例のように、入力される被写体までの距離は、必ずしも計量値で表現される必要はなく、相対値で表現されても構わない。
【００６３】
図４において、画像の撮影又は入力、並びに被写体までの距離の測定又は入力が終了すると、画像において被写体が写された領域を示す２次元座標位置を指定する（ステップＳ２）。この作業は、座標指定部４０により行われる。以下、座標指定部４０の構成・動作の具体例を説明する。
【００６４】
［座標指定部４０の構成・動作］
図７は座標指定部４０の構成の一例を示す説明図である。図７に示す例では、この座標指定部４０は、表示部３７の表面に設置された透明タッチパネル４０１と、画像中の２次元座標位置を指定するポインティングデバイス４０２とより構成されている。
【００６５】
以下において、この座標指定部４０の動作について説明する。まず、前述のステップＳ１の処理が終了すると、表示部３７において「座標指定」という文字がオーバーレイ表示される。次に、ユーザーは表示部３７に表示された画像において、抽出したい被写体を示す位置をポインティングすることにより、２次元座標位置を指定する。すると、表示部３７上に十字型のポインタ４０３が画像に重畳表示され、当該２次元座標位置が指定されたことがユーザーに通知される。以上の操作で、画像における２次元座標位置を指定することができる。
【００６６】
また、図８は座標指定部４０の構成の他例を示す説明図である。図８に示す例では、座標指定部４０は、画像中の２次元座標位置を指定するカーソルボタン４０４及び決定ボタン４０５により構成されている。
【００６７】
以下において、この座標指定部４０の動作について説明する。まず、前述のステップＳ１の処理が終了すると、表示部３７において「座標指定」という文字がオーバーレイ表示される。次に、表示部３７上に十字型のポインタ４０３が画像に重畳表示され、ユーザーは表示部３７に表示された画像において、カーソルボタン４０４を操作することにより、ポインタ４０３を上下左右に移動させる。ポインタ４０３が抽出したい被写体を示す位置にあれば、決定ボタン４０５を押下することにより、２次元座標位置が指定される。以上の操作で、画像における２次元座標位置を指定することができる。
【００６８】
また、図９は座標指定部４０の構成のさらに異なる一例を示す説明図である。図９に示す例では、座標指定部４０は、画像中の２次元座標位置を数値入力するテンキー４０６及び決定ボタン４０５により構成されている。
【００６９】
以下において、この座標指定部４０の動作について説明する。まず、前述のステップＳ１の処理が終了すると、表示部３７において「座標指定」という文字がオーバーレイ表示される。次に、表示部３７上に２次元座標位置を数値入力するための２つの矩形４０７ａ，４０７ｂが画像に重畳表示される。ここで、矩形４０７ａは画像における横方向の座標、矩形４０７ｂは縦方向の座標の入力用の矩形であるとする。続いて、ユーザーは、表示部３７に表示された画像において、テンキー４０６を操作することにより、矩形４０７ａ，４０７ｂ内に各々数値を入力する。ここで、図中左向き矢印で示されるキー４０８はバックスペースキーであり、誤入力された数値入力を修正するのに使用される。すると、表示部３７において、これらの数値に対応する２次元座標位置上にポインタ４０３が出現する。このとき、このポインタ４０３が抽出したい被写体を示す位置にあれば、決定ボタン４０５を押下することにより、２次元座標位置が指定される。以上の操作で、画像における２次元座標位置を指定することができる。
【００７０】
図４において、このように２次元座標位置の指定が終了すると、２次元座標位置付近の距離に基づいて被写体を抽出する（ステップＳ３）。このステップＳ３の処理は被写体抽出部４１により行われる。以下、被写体抽出部４１の構成・動作を説明する。
【００７１】
［被写体抽出部４１の構成・動作］
被写体抽出部４１は、座標指定部４０により指定された２次元座標位置に対応する被写体までの距離を読み取り、この距離に存在する被写体を抽出するものである。これにより、２次元座標位置という視覚に訴える情報に基づいて被写体が抽出されるので、従来の技術と比較して格段に直観的な被写体の抽出が可能となる。しかし、これの処理だけでは図１９で説明した従来の技術の問題点を解消できないため、以下において所望の被写体のみを抽出することを可能とする被写体抽出部４１の動作について説明する。
【００７２】
図１０は、このような動作を説明するための説明図である。図１０に示すように、指定された２次元座標位置を点Ｐ、また、この点Ｐの上下左右の４近傍内の点を点Ｐｉ（ｉ＝１，２，３，４）とする。ここで、点Ｐｉと点Ｐとの画像における距離は、1画素であっても２以上の或る一定数の画素であっても構わない。点Ｐが指定されると、点Ｐにおける被写体までの距離と点Ｐｉにおける被写体までの距離との類否を判定し、両者が類似と判定されれば点Ｐｉを被写体領域として統合する。ここで、類否判定の基準として、点Ｐと点Ｐｉとの距離の差分を用いる。そして、この差分が予め定められた閾値ｄ以下であれば、点Ｐｉを被写体領域として統合する。
【００７３】
その結果、例えば、図１０（ａ）においては、点Ｐ１，Ｐ３，Ｐ４の３点が、新たに被写体領域として統合される。次に、新たに統合された点Ｐｉ（図１０（ａ）における点Ｐ１，Ｐ３，Ｐ４）を開始点とし、同様に距離の類否を判定し、新たな被写体領域を統合する。このような処理を順次実行し、新たに統合される４近傍内の点が存在しなくなれば、処理を終了する。
【００７４】
以上により、最終的に図１０（ｂ）に白抜きで示すように被写体領域が抽出される。さらに、撮影又は入力された前記画像とこの被写体領域とを照合することにより、図１０（ｃ）に示すように、２次元座標位置で指定した点付近の被写体のみが抽出された画像が生成される。
【００７５】
ところで、距離の差分の閾値ｄは、ユーザーにより手動で設定しても、画像処理装置1において自動的に決定しても構わないが、従来の技術で説明したように、ユーザーにとっては実際の被写体までの距離は直観的に把握し難いので、距離の差分の閾値ｄを手動で設定するのは困難である。従って、画像全体の距離データを統計的に解析し、得られた統計量に基づいてこの閾値ｄを自動的に決定する方式が好適である。
【００７６】
以下、その動作の一例を説明する。まず、図１１に示すように、被写体までの距離のヒストグラムをとる。次に、このヒストグラムを基に、クラスタリングを行うことにより距離データを任意のＮ個のクラスタＣｊ（ｊ＝１，…，Ｎ）に分類する。例えば、図１１は被写体までの距離が３つのクラスタに分類されたことを示している。ここで、クラスタリングの方法は、公知技術である階層的クラスタリング法、Ｋ−means法などを用いれば良い。
【００７７】
次に、各クラスタＣｊにおいて距離データの統計量を算出する。例えば、各クラスタにおける距離データは正規分布を示すと仮定することにより、クラスタＣｊに対して距離データの平均値ｍｊ及び標準偏差σｊを各々算出し、これらを前述の統計量として用いることができる。最後に、上記の手順により得られた統計量に基づいて閾値ｄを決定する。例えば、閾値ｄは各クラスタの標準偏差を用いて（１）式と決定される。
【００７８】
【数１】
【００７９】
以上の構成・動作により、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から所望の被写体のみを抽出することができる。
【００８０】
本発明の第二の実施の形態を図１２ないし図１７に基づいて説明する。図１ないし図１１で示した部分と同一又は相当する部分は同一符号を用いて示し、説明も省略する。
【００８１】
本実施の形態の画像処理装置１は、基本的には、図３に示した第一の実施の形態の構成と同様であるが、距離測定部３９を視差検出手段としての視差検出部４２に置き換えたものである。この視差検出部４２は主制御部３４，フレームメモリ３５及び被写体抽出部４１に接続されている。
【００８２】
ここで、図１２に示す本実施の形態の画像処理装置１とその前提となる基本ハードウェア構成を示した図１及び図２との対応関係も、基本的には、図３で説明した場合と同様であるが、視差検出部４２はＣＰＵ１１により構成されている。
【００８３】
このような構成を有する本実施の形態の画像処理装置１において、信号処理部３２は、撮像部３１で撮像され又はＩ／Ｆ３６を介して外部から入力された、少なくとも２枚の視差のある画像に対して所定の処理を施す。また、主制御部３４は画像処理装置を構成する各部を集中的に制御し、フレームメモリ３５はメモリ制御部３３の命令により、少なくとも２枚分の画像信号を蓄積する。また、表示部３７はＩ／Ｆ３６を介して供給された画像信号を表示し、外部記憶部３８はＩ／Ｆ３６を介して画像信号等の種々の信号を読み書きする。また、視差検出部４２は、少なくとも２枚の視差のある画像に対して視差を検出するが、この動作の詳細については後述する。
【００８４】
次に、本実施の形態に係る画像処理方法を図１３のフローチャートを参照して説明する。まず、ユーザーは撮像部３１により撮影された画像、又は、予め撮影されＩ／Ｆ３６を介して供給された、少なくとも２枚の視差のある画像を入力する（ステップＳ１１）。次に、視差検出部４２により、この２枚の視差のある画像における視差を検出する（ステップＳ１２）。ここで、視差検出部４２は、濃度相関によるブロックマッチング、オプティカル・フローなどの従来技術を適用することにより実現される。以下においては、濃度相関によるブロックマッチングを適用するものと仮定して、視差検出部４２の構成・動作を説明する。
【００８５】
［視差検出部４２の構成・動作］
図１４は視差検出部４２の構成の一例を示す図である。図１４に示すように、視差検出部４２は特徴点設定部４２１、相関演算部４２２により構成される。図１２のフレームメモリ３５には、視差を有する２枚の画像が格納されており、各々画像１、画像２と呼ぶこととする。特徴点設定部４２１は画像１において特徴点の位置を決定する。また、特徴点を中心とする（２Ｎ＋１）(２Ｐ＋１)のブロックを生成し、このブロック内の濃淡パターンを抽出する。ここで、特徴点の位置は、1又は一定数の画素毎に選択する、角（corner）のように画像の濃度パターンが特徴的である箇所を抽出するなどの方法により決定される。相関演算部４２２は、画像１において作成されたブロックの濃淡パターンとほぼ一致する箇所を、画像２において相関演算により検出し、これを対応点と決定する。
【００８６】
ここで、図１５に基づいて濃度相関によるブロックマッチングにより対応点を検出する動作について具体的に説明する。図１５に示すように、（２Ｎ＋１）(２Ｐ＋１)のブロックを用い、ブロックマッチングで、画像１におけるの特徴点（ｍ，ｎ）と、画像２における点（ｍ＋ｄｍ，ｎ＋ｄｎ）の正規化相互相関値Ｓは、次式（２）により計算される。ここで、（２）式において、Ｉ１(ｘ，ｙ)：画像１の点(ｘ，ｙ)における濃度、Ｉ２(ｘ，ｙ)：画像２の点(ｘ，ｙ)における濃度である。
【００８７】
【数２】
【００８８】
全ての特徴点(ｍ，ｎ)に対して、以上の計算に基づき正規化相互相関値Ｓが最大となる画像２における点を求め、かつ、この正規化相互相関値Ｓが予め定められた閾値以上であれば、その点を対応点とすればよい。その結果、全ての特徴点に対して視差を示すベクトル(ｄｍ，ｄｎ)を得ることができる。
【００８９】
図１３において、視差の検出が終了すると、画像において被写体が写された領域を示す２次元座標位置を指定させる（ステップＳ１３）。このステップＳ１３の作業は、座標指定部４０により行われるが、その動作は第一の実施の形態で説明した通りであり、説明を省略する。
【００９０】
２次元座標位置の指定が終了すると、２次元座標位置付近の視差に基づいて被写体を抽出する（ステップＳ１４）。このステップＳ３の処理は、第一の実施の形態の場合と同様に、被写体抽出部４１により行われるが、その動作は第一の実施の形態の場合とはやや異なる。そこで、本実施の形態における被写体抽出部４１の構成・動作を説明する。
【００９１】
［被写体抽出部４１の構成・動作］
図１６は本実施の形態における被写体抽出部４１の動作の一例を示す説明図である。まず、図１６（ａ）（ｂ）は入力された２枚の視差を有する画像を示す図である。図１６（ｃ）は視差検出部４２により検出された、この２枚の画像における視差と、座標指定部４０により指定された２次元座標位置である点Ｐとを示す図である。図１６（ｄ）は、同図（ｃ）において点Ｐ付近を拡大した図であり、点Ｐにおける視差を示すベクトルをｖ、点Ｐの上下左右の４近傍内の点Ｐｉ(ｉ＝１，２，３，４)における視差を示すベクトルをｖｉとする。ここで、点Ｐｉと点Ｐとの画像における距離は、視差検出部４２が検出した特徴点の間隔と一致するが、この間隔は1画素であっても２以上のある一定数の画素であっても構わない。
【００９２】
点Ｐが指定されると、ベクトルｖとベクトルｖｉとの類否を判定し、両者が類似と判定されれば点Ｐｉを被写体領域として統合する。ここで、類否判定の基準として、ベクトルｖとベクトルｖｉとの差分ベクトルｖｉ−ｖのユークリッド距離、即ち、Ｌ２ノルム‖ｖｉ−ｖ‖を用いる。そして、‖ｖｉ−ｖ‖が予め定められた閾値Ｄ以下であれば、点Ｐｉを被写体領域として統合する。その結果、例えば、図１６（ｄ）においては、点Ｐ１，Ｐ３，Ｐ４の３点が、新たに被写体領域として統合される。次に、新たに統合された点Ｐｉ（図１６（ｄ）における点Ｐ１，Ｐ３，Ｐ４）を開始点とし、同様に視差の類否を判定し、新たな被写体領域を統合する。このような処理を順次実行し、新たに統合される４近傍内の点が存在しなくなれば、処理を終了する。
【００９３】
以上の構成・処理により、第一の実施の形態の場合と同様に、最終的に図１０（ｃ）に示した場合のように、２次元座標位置で指定した点付近の被写体のみが抽出された画像が生成される。
【００９４】
ところで、視差の差分ベクトルのＬ２ノルムの閾値Ｄは、ユーザーにより手動で設定しても、画像処理装置1において自動的に決定しても構わないが、被写体までの距離と同様に、ユーザーにとって視差は直観的に把握し難いので、該閾値Ｄを手動で設定するのは困難である。従って、画像全体の視差データを統計的に解析し、得られた統計量に基づいて該閾値Ｄを自動的に決定する方式が好適である。
【００９５】
以下において、その動作の一例を説明する。まず、図１７に示すように、画像における視差に対して、横軸を視差の横方向の成分ｄｍ、縦軸を視差の縦方向の成分ｄｎとする分布をとる。次に、このような分布を基にクラスタリングを行うことにより、視差データを任意のＮ個のクラスタＣｊ(ｊ＝１，…，Ｎ)に分類する。例えば、図１７は視差データが３つのクラスタに分類されたことを示している。ここで、クラスタリングの方法は、公知技術である階層的クラスタリング法、Ｋ−means法などを用いれば良い。次に、各クラスタＣｊにおいて視差データの統計量を算出する。例えば、各クラスタにおける視差データは等方的な２次元正規分布を示すと仮定することにより、クラスタＣｊに対して視差データの平均ベクトルμｊ、ｄｍ軸方向の標準偏差σｍｊ、及び、ｄｎ軸方向の標準偏差σｎｊを各々算出し、これらを上述の十の統計量として用いることができる。最後に、このような手順により得られた統計量に基づき閾値Ｄを決定する。例えば、この閾値Ｄは各クラスタにおける視差の標準偏差を用いて、（３）式により決定される。
【００９６】
【数３】
【００９７】
以上の構成・動作により、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から所望の被写体のみを抽出することができる。
【００９８】
本発明の第三の実施の形態を図１８に基づいて説明する。本実施の形態は、前述の第一，第二の実施の形態による画像処理方法をコンピュータプログラムとして記述した場合の適用例を示している。
【００９９】
例えば、図１８（ａ）に示すように、当該コンピュータプログラムを格納した記録媒体１７１をコンピュータとしても機能する画像処理装置１に装着し、画像処理装置１に当該コンピュータプログラムをインストールしてプログラムを実行させることにより、上述したような画像処理を容易に実現することができる。
【０１００】
また、図１８（ｂ）に示すように、当該コンピュータプログラムを格納したＣＤ−ＲＯＭ１７２をパーソナルコンピュータ（以下、“ＰＣ”と略す）１７３に装着し、当該コンピュータプログラムをＰＣ１７３にインストールして実行させることによっても、上述したような画像処理を容易に実現することができる。なお、ＰＣ１７３へ装着され当該コンピュータプログラムを格納する記録媒体としては、ＣＤ−ＲＯＭ１７２に限らず、例えばＤＶＤ−ＲＯＭ等であってもよいことはいうまでもない。
【０１０１】
前述した画像処理方法を当該コンピュータプログラムの実行により実現する場合の具体例を説明する。この場合には、画像処理装置1又はＰＣ１７３は、内蔵されたメモリやハードディスクなどの記憶装置及びＣＤ−ＲＯＭ等の記録媒体に格納され、又は電気通信回線を介してサーバーなどの他の計算機の記憶装置等に格納された画像を、ＰＣ１７３に搭載された各種インターフェースを介して信号処理部３２へ取り込む。
【０１０２】
また、前述した被写体までの距離については、予め距離画像を作成しておき、該記録媒体の内部に記録しておく。そして、ユーザーは画面上において、その画像に対応する距離画像を選択することにより、被写体までの距離をＰＣ１７３に入力することができる。一方、距離画像に関する情報は、対応する画像におけるヘッダ情報として記録しておくこともできる。例えば、当該画像のフォーマットとしてＥｘＩ／Ｆ（Exchangeable image file format）を採用する場合、そのヘッダ情報中のMaker Noteと呼ばれる、製造者が自由に利用できるフィールドに当該距離画像のファイル名やその存在場所を記録することができる。そして、ＰＣ１７３はこのヘッダ情報を読み取ることにより、当該距離画像を入力することができる。
【０１０３】
また、前述の視差の検出については、視差検出部４２の動作を、ＰＣ１７３内のＣＰＵによりそのまま実現させることができる。
【０１０４】
また、前述の２次元座標の指定は、ＰＣ１７３のキーボードにおけるカーソルキーなどの所定のキーを操作した後、改行キーを押下し、又は、画面上に表示されたマウスカーソルをマウスで動かした後、左ボタンをクリックすることにより遂行される。また、２次元座標位置を数値入力により指定する場合は、テンキーなどが利用できる。
【０１０５】
さらに、前述の被写体の抽出については、被写体抽出部４１の動作をＰＣ１７３内のＣＰＵによりそのまま実現させることができる。
【０１０６】
なお、本発明は、前述の実施の形態で例示した構成・動作例に減縮されるものでないことは言うまでもない。例えば、第一の実施の形態において、被写体までの距離の類否判定の尺度として距離の差分を用いたが、近傍の点Ｐｉにおける距離が点Ｐと同一のクラスタに属するならば被写体領域として統合するなど、これ以外の尺度を適用しても構わない。また、各クラスタにおける距離データの分布が正規分布であると仮定して統計量を算出する手順を説明したが、もちろんこれ以外の分布を用いても構わない。
【０１０７】
また、第二の実施の形態において、視差の類否判定の尺度として差分ベクトルのＬ２ノルムを用いたが、２次元座標位置近傍の点Ｐｉにおける視差が点Ｐと同一のクラスタに属するならば被写体領域として統合するなど、これ以外の尺度を適用しても構わない。また、各クラスタにおける視差データの分布が正規分布であると仮定して統計量を算出する手順を説明したが、もちろんこれ以外の分布を用いても構わない。
【０１０８】
【発明の効果】
本発明によれば、指定された２次元座標位置付近の距離に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１０９】
本発明によれば、前記の画像処理方法において、指定された２次元座標位置における距離と当該２次元座標位置の近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定するようにしたので、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１０】
本発明によれば、前記の画像処理方法において、被写体領域の拡大の可否を画像における被写体までの距離の統計量に基づき判定するようにしたので、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１１】
本発明によれば、指定された２次元座標位置付近の視差に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１１２】
本発明によれば、前記の画像処理方法において、指定された２次元座標位置における視差と当該２次元座標位置の近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定するようにしたので、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１３】
本発明によれば、前記の画像処理方法において、被写体領域の拡大の可否を、画像における被写体までの視差の統計量に基づいて判定するようにしたので、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、被写体を抽出することができる。
【０１１４】
本発明によれば、指定された２次元座標位置付近の距離に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１１５】
本発明によれば、前記の画像処理装置において、指定された２次元座標位置における距離と当該２次元座標位置の近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定するようにしたので、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１６】
本発明によれば、前記の画像処理装置において、被写体領域の拡大の可否を、画像における被写体までの距離の統計量に基づき判定するようにしたので、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１７】
本発明によれば、指定された２次元座標位置付近の視差に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１１８】
本発明によれば、前記の画像処理装置において、指定された２次元座標位置における視差と当該２次元座標位置の近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定するようにしたので、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１９】
本発明によれば、前記の画像処理装置において、被写体領域の拡大の可否を、画像における被写体までの視差の統計量に基づいて判定するようにしたので、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、被写体を抽出することができる。
【０１２０】
本発明によれば、前記の画像処理装置において、指定手段が２次元座標位置をポインティングする手段を具備することにより、２次元座標位置を直観的に指定できる。
【０１２１】
本発明によれば、前記の画像処理装置において、指定手段が２次元座標位置を数値入力する手段を具備することにより、２次元座標位置を直観的に指定できる。
【０１２２】
本発明によれば、指定された２次元座標位置付近の距離に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１２３】
本発明によれば、指定された２次元座標位置付近の視差に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１２４】
本発明によれば、指定された２次元座標位置付近の距離に基づいて、被写体を抽出するようにしたので、入力された画像における２次元座標の指定という直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、コンピュータプログラムを利用して実現できる。
【０１２５】
本発明によれば、指定された２次元座標位置付近の視差に基づいて、被写体を抽出するようにしたので、入力された画像における２次元座標の指定という直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、コンピュータプログラムを利用して実現できる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の画像処理装置の基本となるハードウェア構成例を示すブロック図である。
【図２】本発明の第一の実施の形態の撮像装置の基本となるデジタルカメラのハードウェア構成例を示すブロック図である。
【図３】本発明の第一の実施の形態の画像処理装置の構成例を示すブロック図である。
【図４】画像処理方法を示す概略フローチャートである。
【図５】距離測定部の一例を示す原理的構成図である。
【図６】距離画像に関する説明図である。
【図７】座標指定部の一例を示す説明図である。
【図８】座標指定部の他例を示す説明図である。
【図９】座標指定部のさらに異なる一例を示す説明図である。
【図１０】被写体抽出部の動作の一例を示す説明図である。
【図１１】被写体までの距離のヒストグラムを示す説明図である。
【図１２】本発明の第二の実施の形態の画像処理装置の構成例を示すブロック図である。
【図１３】画像処理方法を示す概略フローチャートである。
【図１４】視差検出部の一例を示すブロック図である。
【図１５】視差検出部の動作の一例を示す説明図である。
【図１６】被写体抽出部の動作の一例を示す説明図である。
【図１７】類否判定処理例を示す説明図である。
【図１８】本発明の第三の実施の形態を示し、（ａ）は画像処理装置の斜視図、（ｂ）はＰＣの斜視図である。
【図１９】従来例方式を示す説明図である。
【符号の説明】
３１ 撮像手段
３５ 画像メモリ
３９ 距離検出手段
４０ 指定手段
４０３，４０４ ポインティング手段、指定手段
４０６ 数値入力手段、指定手段
４１ 抽出手段
４２ 視差検出手段
【発明の属する技術分野】
本発明は、撮影された画像中の所望の被写体像を抽出し、或いは撮影された画像を被写体毎に分割するための画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムに関する。
【０００２】
【従来の技術】
近年、現実世界に存在する素材を電子情報として記録するデジタルビデオカメラやデジタルスチルカメラが急速に普及している。また、これらのカメラによって取得された画像に加工・処理を施すことにより、再利用を図るという事例が見られるようになった。その中でも、画像中の特定の被写体を抽出する技術は、例えば抽出した被写体をクリップアートのような素材として再利用する、又は、画像を個々の被写体毎に分割することにより、画像の管理・検索に役立てるなど、幅広い応用が可能である。
【０００３】
これらを実現するため、幾つかの従来技術が開示されている。
【０００４】
まず、階調、色、濃度勾配及びテクスチャなど、画像の２次元的な特徴に基づき、画像を領域毎に分割する手法は、一般にセグメンテーションと呼ばれており、従来より数多く提案されている。例えば、文献『画像の処理と認識』(安居院猛・長尾智晴共著、昭晃堂)によると、注目している小領域と、それに隣接する小領域が互いに同じ特徴を持っている場合に、それらを一つの領域に統合する処理を順次実行することによって、特徴が等しい領域を少しずつ成長させる領域成長（region growing）法、領域成長法とは逆に画像全体を開始点とし、一定の特徴を持たない領域を細分化してゆき、最終的に均一な領域になった時点で領域の細分化を停止する分割法、或いは、これらの領域成長法と分割法とを組合せた分割統合法などの手法が知られている。
【０００５】
しかし、これらの手法は被写体の外見的な性質に依存するため、安定的に所望の被写体を抽出することは極めて困難である。
【０００６】
上記の他、被写体までの距離に基づき、画像中から特定のオブジェクトのみを抽出する技術も幾つか提案されている。例えば、特開平９−３１２７９４号公報においては、撮像する被写体を複数ブロックに分割して、これらのブロック毎に被写体までの距離を測定し、撮像した画像と測定された距離を前記ブロック毎にリンクして記憶し、記憶された距離が同一のブロック画像を抽出するという画像処理装置及び方法が開示されている。また、特開平９−３２６０２５号公報においては、撮影毎に複数の領域別に被写体までの距離を測定して距離データとして入力し、撮影毎に画像データと前記複数の領域別の距離データとを対応させて記憶するとともに、抽出距離データを設定し、前記距離データと前記抽出距離データに基づいて、前記画像データの中から前記抽出距離データに対応する画像データのみを抽出する画像処理装置が開示されている。
【０００７】
【発明が解決しようとする課題】
しかし、これらの公報記載の発明においては、予め設定された距離区間又はユーザーにより指定された被写体までの距離に基づいて当該被写体が抽出されるが、ユーザーにとっては実際の被写体までの距離は直観的に把握し難いため、所望の被写体を簡単かつ迅速に抽出するのは困難である。さらに、これらの公報記載の発明に基づいて所望の被写体を抽出しようとすると、図１９に示すように、所望の被写体Ａとほぼ同一の距離に異なる被写体Ｂが写されている場合、被写体Ａの他に不要な被写体Ｂまで抽出されることとなる。
【０００８】
本発明は、上述の点に鑑みてなされたものであり、その第１の目的は、直観的な指示に基づいて、入力又は撮影された画像から所望の被写体を抽出することができる画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムを提供することである。
【０００９】
本発明の第２の目的は、入力又は撮影された画像から、所望の被写体のみを抽出することができる画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムを提供することである。
【００１０】
本発明の第３の目的は、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができる画像処理方法、画像処理装置、撮像装置及びコンピュータプログラムを提供することである。
【００１１】
【課題を解決するための手段】
本発明は、被写体までの距離に基づいて、画像中から所望の被写体を抽出する画像処理方法であって、入力又は撮影された前記画像における被写体までの距離を検出する第１のステップと、前記画像における２次元座標位置を指定する第２のステップと、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する第３のステップと、を有することを特徴とする。
【００１２】
従って、指定された２次元座標位置付近の距離に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００１３】
本発明は、前記の画像処理方法において、前記第３のステップは、指定された前記２次元座標位置における距離と当該２次元座標位置近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、前記被写体を抽出することを特徴とする。
【００１４】
従って、指定された２次元座標位置における距離と当該２次元座標位置の近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第２の目的が達成される。
【００１５】
本発明は、前記の画像処理方法において、前記第３のステップは、前記被写体領域の拡大の可否を、前記画像における被写体までの距離の統計量に基づき判定することを特徴とする。
【００１６】
従って、被写体領域の拡大の可否が、画像における被写体までの距離の統計量に基づき判定されることにより、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第３の目的が達成される。
【００１７】
本発明は、被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像に基づいて、画像中から所望の被写体を抽出する画像処理方法であって、入力又は撮影された前記少なくとも２枚の視差のある画像における視差を検出する第１のステップと、少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する第２のステップと、指定された前記２次元座標位置付近の視差に基づいて、被写体を抽出する第３のステップと、を有することを特徴とする。
【００１８】
従って、指定された２次元座標位置付近の視差に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００１９】
本発明は、前記の画像処理方法において、前記第３のステップは、指定された前記２次元座標位置における視差と当該２次元座標位置近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、前記被写体を抽出することを特徴とする。
【００２０】
従って、指定された２次元座標位置における視差と当該２次元座標位置の近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第２の目的が達成される。
【００２１】
本発明は、前記の画像処理方法において、前記第３のステップは、前記被写体領域の拡大の可否を、前記画像における視差の統計量に基づき判定されることを特徴とする。
【００２２】
従って、被写体領域の拡大の可否が、画像における被写体までの視差の統計量に基づいて判定されることにより、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、被写体を抽出することができ、第３の目的が達成される。
【００２３】
本発明は、被写体までの距離に基づいて、画像中から所望の被写体を抽出する画像処理装置であって、前記画像における２次元座標位置を指定する指定手段と、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する抽出手段と、を有することを特徴とする。
【００２４】
従って、指定された２次元座標位置付近の距離に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００２５】
本発明は、前記の画像処理装置において、前記抽出手段は、指定された前記２次元座標位置における距離と当該２次元座標位置近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、前記被写体を抽出することを特徴とする。
【００２６】
従って、指定された２次元座標位置における距離と当該２次元座標位置の近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第２の目的が達成される。
【００２７】
本発明は、前記の画像処理装置において、前記抽出手段は、前記被写体領域の拡大の可否を、前記画像における被写体までの距離の統計量に基づき判定することを特徴とする。
【００２８】
従って、被写体領域の拡大の可否が、画像における被写体までの距離の統計量に基づき判定されることにより、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第３の目的が達成される。
【００２９】
本発明は、被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像に基づいて、画像中から所望の被写体を抽出する画像処理装置であって、入力又は撮影された少なくとも２枚の視差のある画像における視差を検出する視差検出手段と、少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する指定手段と、指定された前記２次元座標位置付近の視差に基づいて、被写体を抽出する抽出手段と、を有することを特徴とする。
【００３０】
従って、指定された２次元座標位置付近の視差に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００３１】
本発明は、前記の画像処理装置において、前記抽出手段は、指定された前記２次元座標位置における視差と当該２次元座標位置近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、前記被写体を抽出することを特徴とする。
【００３２】
従って、指定された２次元座標位置における視差と当該２次元座標位置の近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定することにより、入力又は撮影された画像から、所望の被写体のみを抽出することができ、第２の目的が達成される。
【００３３】
本記載の発明は、前記の画像処理装置において、前記抽出手段は、前記被写体領域の拡大の可否を、前記画像における視差の統計量に基づき判定することを特徴とする。
【００３４】
従って、被写体領域の拡大の可否が、画像における被写体までの視差の統計量に基づいて判定されることにより、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、被写体を抽出することができ、第３の目的が達成される。
【００３５】
本記載の発明は、前記の画像処理装置において、前記指定手段は、２次元座標位置をポインティングする手段を具備することを特徴とする。
【００３６】
従って、指定手段が２次元座標位置をポインティングする手段を具備することにより、２次元座標位置を直観的に指定でき、第１の目的が達成される。
【００３７】
本記載の発明は、前記の画像処理装置において、前記指定手段は、２次元座標位置を数値入力する手段を具備することを特徴とする。
【００３８】
従って、指定手段が２次元座標位置を数値入力する手段を具備することにより、２次元座標位置を直観的に指定でき、第１の目的が達成される。
【００３９】
本記載の発明は、被写体を撮影し、前記被写体の画像を表す映像信号を発生させる撮像手段を有する撮像装置であって、前記被写体を撮影した画像を記憶する画像メモリと、前記被写体までの距離を検出する距離検出手段と、前記画像メモリに記憶された画像における２次元座標位置を指定する指定手段と、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する抽出手段と、を有することを特徴とする。
【００４０】
従って、指定された２次元座標位置付近の距離に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００４１】
本記載の発明は、被写体を撮影し、前記被写体の画像を表す映像信号を発生させる撮像手段を有する撮像装置であって、前記撮像手段に接続され、前記被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像を記憶する画像メモリと、記憶された少なくとも２枚の視差のある前記画像における視差を検出する視差検出手段と、記憶された少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する指定手段と、指定された前記２次元座標位置付近の視差に基づいて、被写体を抽出する抽出手段と、を有することを特徴とする。
【００４２】
従って、指定された２次元座標位置付近の視差に基づいて、被写体を抽出することにより、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、第１の目的が達成される。
【００４３】
本記載の発明は、被写体までの距離に基づいて、画像中から所望の被写体を抽出するコンピュータにインストールされ、前記コンピュータに、前記画像及び前記被写体までの距離を入力させる機能と、前記画像における２次元座標位置を指定させる機能と、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出させる機能と、を実行させるコンピュータ読取り可能なコンピュータプログラムである。
【００４４】
従って、指定された２次元座標位置付近の距離に基づいて、被写体を抽出することにより、入力された画像における２次元座標の指定という直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、コンピュータプログラムを利用して第１の目的が達成される。
【００４５】
本記載の発明は、被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像に基づいて、画像中から所望の被写体を抽出するコンピュータにインストールされ、前記コンピュータに、少なくとも２枚の視差のある前記画像を入力させる機能と、少なくとも２枚の視差のある前記画像における視差を検出させる機能と、少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定させる機能と、指定された前記２次元座標位置付近の視差に基づいて、被写体を抽出させる機能と、を実行させるコンピュータ読取り可能なコンピュータプログラムである。
【００４６】
従って、指定された２次元座標位置付近の視差に基づいて、被写体を抽出することにより、入力された画像における２次元座標の指定という直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、コンピュータプログラムを利用して第１の目的が達成される。
【００４７】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図１１に基づいて説明する。図１は、本実施の形態の画像処理装置の基本となるハードウェア構成例を示すブロック図である。この画像処理装置は、当該画像処理装置における各種の制御及び処理を行うＣＰＵ（Central Processing Unit）１１と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２と、ＨＤＤ（Hard Disk Drive）１３と、マウス等のポインティングデバイス、キーボード、ボタン等の各種入力インターフェース（以下“Ｉ／Ｆ”と略す）１４と、電源１５と、表示Ｉ／Ｆ１６を介して接続されるＣＲＴ（Cathode Ray Tube）等のディスプレイ１９と、ＣＤ−ＲＷ（Compact Disk Rewritable）ドライブ等の記録装置１７と、デジタルカメラやプリンタ等の外部機器やインターネット等の電気通信回線と有線又は無線接続するための外部Ｉ／Ｆ１８とを、バスを介して接続することにより構成されている。
【００４８】
ＳＤＲＡＭ１２は、ＣＰＵ１１の作業領域として利用されるとともに、本実施の形態における画像処理方法の各工程（ステップ）を実行するための処理プログラムや、その他制御プログラムなどの固定情報の記憶領域として利用される。処理プログラムは、例えば、記録装置１７を介してＳＤＲＡＭ１２にロードされ、又は、ＨＤＤ１３に一旦保存された後に必要なときにＳＤＲＡＭ１２にロードされ、又は、外部Ｉ／Ｆ１８に接続された電気通信回線を介してＳＤＲＡＭ１２にロードされる。処理の対象となる画像は、記録装置１７又は外部Ｉ／Ｆ１８に接続されたデジタルカメラ等の撮像装置若しくは電気通信回線を介して入力される。
【００４９】
図２は、上述した画像処理装置と同様な機能を備える本実施の形態の撮像装置の基本となるデジタルカメラのハードウェア構成例を示すブロック図である。図１中に示した部分と同一又は相当する部分は同一符号を付して示す。即ち、デジタルカメラにおける各種の制御及び処理を行うＣＰＵ１１と、ＳＤＲＡＭ１２と、ＲＯＭ（Read Only Memory）２０と、ペン等のポインティングデバイスやカメラ本体に設置されたボタン等の各種入力Ｉ／Ｆ１４と、電源１５と、表示Ｉ／Ｆ１６を介して接続されるＬＣＤ（Liquid Crystal Display）２８と、ＣＦ（Compact Flash）カード等の記録装置１７と、プリンタ等の外部機器やインターネットと有線又は無線接続するための外部Ｉ／Ｆ１８とを、バスを介して接続することにより構成される。さらに、レンズ２１と、絞り２２と、シャッター２３と、ＣＣＤ（Charge Coupled Device）等の光電変換素子２４と、この光電変換素子２４のタイミング制御並びに光電変換素子２４により得られた画像信号に対して相関二重サンプリングやアナログ−デジタル変換等のデジタル化処理を行う駆動部２５と、この駆動部２５により得られたデジタル信号に対してＡＷＢ（Automatic White Balance）、エッジ強調やγ補正等の前処理及び画像圧縮／伸長処理を行う前処理回路２６、フォーカス、ズーム、アイリス、シャッタースピード等を制御するためにレンズ２１、絞り２２、シャッター２３を駆動するモータ駆動部２７と、被写体に対してフォーカスを合わせるためにカメラ本体から被写体までの距離を測定する測距部２９とを備えている。
【００５０】
ＲＯＭ２０は、ＣＰＵ１１により実行される所定の命令を記憶する領域として利用されるとともに、本実施の形態における画像処理方法の各工程を実行するための処理プログラムとして利用される。ＳＤＲＡＭ１２は、ＣＰＵ１１の作業領域として利用されるとともに、本実施の形態における画像処理方法の各工程を実行するための処理プログラムや、その他制御プログラムなどの固定情報の記憶領域として利用される。処理プログラムは、例えば、ＲＯＭ２０に予め格納され、又は、記録装置１７を介してＳＤＲＡＭ１２にロードされ、又は、外部Ｉ／Ｆ１８に接続された電気通信回線を介してＳＤＲＡＭ１２にロードされる。制御プログラムは、例えばＲＯＭ２０に予め格納される。
【００５１】
本実施の形態の画像処理装置は、図１に示すような画像処理装置又は図２に示すような撮像装置に適用されるもので、その機能を含む構成例を図３のブロック図に示す。
【００５２】
本実施の形態の画像処理装置1は、信号処理部３２とメモリ制御部３３と主制御部３４と画像メモリとしてのフレームメモリ３５とＩ／Ｆ３６と表示部３７と外部記憶部３８と距離検出手段としての距離測定部３９と指定手段としての座標指定部４０と抽出手段としての被写体抽出部４１とを備える。ここで、撮像部３１は信号処理部３２に接続され、信号処理部３２はメモリ制御部３３と主制御部３４及びＩ／Ｆ３６に接続され、フレームメモリ３５はメモリ制御部３３に接続される。また、距離測定部３９は主制御部３４に接続され、座標指定部４０は主制御部３４とメモリ制御部３３及びフレームメモリ３５に接続され、被写体抽出部４１は距離測定部３９と座標指定部４０及びフレームメモリ３５に接続される。
【００５３】
ここで、図３に示す本実施の形態の画像処理装置１とその前提となる基本ハードウェア構成を示した図１及び図２との対応関係について説明する。図３中の撮像手段としての撮像部３１は、図２に示したレンズ２１、絞り機構２２、シャッター２３、光電変換素子２４、駆動部２５及び前処理回路２６が含まれる。主制御部３４はＣＰＵ１１とＲＯＭ２０とにより構成され、信号処理部３２、メモリ制御部３３及び被写体抽出部４１はＣＰＵ１１により構成される。フレームメモリ３５はＳＤＲＡＭ１２により構成される。Ｉ／Ｆ３６は表示Ｉ／Ｆ１６と外部Ｉ／Ｆ１８を含み、表示部３７はディスプレイ１９又はＬＣＤ２８により構成される。また、外部記憶部３８はＨＤＤ１３又は記録装置１７により構成され、より具体的には、ＣＤ−ＲＷや光磁気ディスクなどが使用できるが、モデムカード等を利用することにより電気通信回線を介して画像信号を直接遠隔地の記録媒体に送信できるようにしても良い。また、距離測定部３９は測距部２９より構成され、座標指定部４０は入力Ｉ／Ｆ１４により構成される。
【００５４】
このような構成の画像処理装置１において、信号処理部３２は、撮像部３１で撮像され又はＩ／Ｆ３６を介して外部から入力された画像に対して所定の処理を施す。また、主制御部３４は画像処理装置を構成する各部を集中的に制御し、フレームメモリ３５はメモリ制御部３３の命令により画像信号を蓄積する。また、表示部３７はＩ／Ｆ３６を介して供給された画像信号を表示し、外部記憶部３８はＩ／Ｆ３６を介して画像信号等の種々の信号を読み書きする。
【００５５】
図３のように構成された各部の動作を具体的に説明する。まず、信号処理部３２は、撮像部３１で撮像され又はＩ／Ｆ３６を介して外部から入力された画像に対して、圧縮や伸長、色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。また、メモリ制御部３３は信号処理部３２において処理された画像信号をフレームメモリ３５に格納したり、その逆にフレームメモリ３５に格納された画像信号を読み出す。そして、この場合にはフレームメモリ３５から読み出された画像信号は、信号処理部３２において圧縮などが施された後、Ｉ／Ｆ３６を介して外部記憶部３８に保存される。また、外部記憶部３８に記憶された画像信号を読み出す場合は、まずＩ／Ｆ３６を介して信号処理部３２に画像信号が供給され、信号処理部３２において画像伸長が施される。一方、外部記憶部３８及びフレームメモリ３５から読み出された画像信号を表示する場合は、まず、読み出された信号が信号処理部３２においてデジタル−アナログ変換（Ｄ／Ａ変換）され、増幅などの信号処理がなされる。そして、このような処理がなされた信号は、Ｉ／Ｆ３６を介して表示部３７に送信される。
【００５６】
また、距離測定部３９は被写体までの距離を測定し、座標指定部４０はフレームメモリ３５に記憶された画像における２次元座標位置を指定し、被写体抽出部４１は被写体までの距離及び指定された２次元座標位置に基づいて、フレームメモリ３５に記憶された画像における所望の被写体を抽出するが、これらの各動作についての詳細は後述する。
【００５７】
次に、本実施の形態に係る画像処理方法を図４のフローチャートを参照して説明する。まず、最初に、ユーザーは撮像部３１により撮影された画像、又は、予め撮影されＩ／Ｆ３６を介して供給された画像を入力する（ステップＳ１）。
【００５８】
撮像部３１により撮影された画像を入力する場合は、この撮影とともに、距離測定部３９により、当該画像に写された被写体までの距離が測定される。ここで、距離測定部３９は、被写体に波動（光、電波、音波）を照射し、被写体からの反射波の伝播時間を測定することにより距離を求めるＴＯＦ（Time of Flight）法、カメラと位置関係が既知の光源からスリット光やスポット光を被写体に照射し、被写体における光像の歪みをカメラで観測して距離を求める光投影法、多眼カメラを用いて被写体を撮影した画像から三角測量法により被写体の３次元形状を計算する多眼立体視などの公知技術により実現される。ここでは、距離測定部３９は光投影法により構成されると仮定して、以下にその構成・動作を説明する。
【００５９】
［距離測定部３９の構成・動作］
図５は距離測定部３９の一例を示す原理的構成図である。図５に示すように、距離測定部３９はスポット光源３９１及び受光素子３９２により構成される。スポット光源３９１は発光ダイオードや半導体レーザー等の光源３９１ａ、ポリゴンミラーなどの走査ミラー３９１ｂ及び走査ミラー３９１ｂの動きを制御する駆動部３９１ｃより構成され、光源３９１ａより発生したスポット光が被写体面に当たるように光の向きを制御する部分であり、その光の向きは駆動部３９１ｃより出力される信号により検出される。受光素子３９２は、スポット光源３９１と位置関係が既知である場所に設置されたＰＳＤ（Position Sensitive Detector）やＣＣＤ等の光電変換素子より構成され、被写体面より戻ってきた反射光の向きを検出する。ここで、受光素子３９２は、撮像部３１における光電変換素子を兼用するという形態で構成されても構わない。
【００６０】
被写体までの距離は、スポット光源３９１の照射したスポット光の向き、スポット光源３９１と受光素子３９２との位置関係、及び、受光素子３９２が検出した反射光の向きより、三角測量の原理で算出される。ここで、走査ミラー３９１ｂを駆動しスポット光を走査することにより、被写体全体の距離を測定することができる。
【００６１】
一方、予め撮影されＩ／Ｆ３６を介して供給された画像を入力する場合は、被写体までの距離も併せてＩ／Ｆ３６を介して入力される。この動作を、以下に説明する。
【００６２】
図６は、同図（ａ）に示す画像と併せて被写体までの距離を、予め測定された被写体までの距離の遠近を画像の濃淡で表現した同図（ｂ）の距離画像という形態で入力するという一例を示した図である。図６における距離画像は、距離が遠い被写体は黒に近い濃度で、近い被写体は白に近い濃度で表現されている。このような距離画像は、例えば、画像の階調が２５６である場合、画像に写された領域における距離の最小値に対しては画素値を２５５、最大値に対しては画素値を０とし、画像中の全領域に対して画素値を距離に反比例させて与えることにより形成される。この例のように、入力される被写体までの距離は、必ずしも計量値で表現される必要はなく、相対値で表現されても構わない。
【００６３】
図４において、画像の撮影又は入力、並びに被写体までの距離の測定又は入力が終了すると、画像において被写体が写された領域を示す２次元座標位置を指定する（ステップＳ２）。この作業は、座標指定部４０により行われる。以下、座標指定部４０の構成・動作の具体例を説明する。
【００６４】
［座標指定部４０の構成・動作］
図７は座標指定部４０の構成の一例を示す説明図である。図７に示す例では、この座標指定部４０は、表示部３７の表面に設置された透明タッチパネル４０１と、画像中の２次元座標位置を指定するポインティングデバイス４０２とより構成されている。
【００６５】
以下において、この座標指定部４０の動作について説明する。まず、前述のステップＳ１の処理が終了すると、表示部３７において「座標指定」という文字がオーバーレイ表示される。次に、ユーザーは表示部３７に表示された画像において、抽出したい被写体を示す位置をポインティングすることにより、２次元座標位置を指定する。すると、表示部３７上に十字型のポインタ４０３が画像に重畳表示され、当該２次元座標位置が指定されたことがユーザーに通知される。以上の操作で、画像における２次元座標位置を指定することができる。
【００６６】
また、図８は座標指定部４０の構成の他例を示す説明図である。図８に示す例では、座標指定部４０は、画像中の２次元座標位置を指定するカーソルボタン４０４及び決定ボタン４０５により構成されている。
【００６７】
以下において、この座標指定部４０の動作について説明する。まず、前述のステップＳ１の処理が終了すると、表示部３７において「座標指定」という文字がオーバーレイ表示される。次に、表示部３７上に十字型のポインタ４０３が画像に重畳表示され、ユーザーは表示部３７に表示された画像において、カーソルボタン４０４を操作することにより、ポインタ４０３を上下左右に移動させる。ポインタ４０３が抽出したい被写体を示す位置にあれば、決定ボタン４０５を押下することにより、２次元座標位置が指定される。以上の操作で、画像における２次元座標位置を指定することができる。
【００６８】
また、図９は座標指定部４０の構成のさらに異なる一例を示す説明図である。図９に示す例では、座標指定部４０は、画像中の２次元座標位置を数値入力するテンキー４０６及び決定ボタン４０５により構成されている。
【００６９】
以下において、この座標指定部４０の動作について説明する。まず、前述のステップＳ１の処理が終了すると、表示部３７において「座標指定」という文字がオーバーレイ表示される。次に、表示部３７上に２次元座標位置を数値入力するための２つの矩形４０７ａ，４０７ｂが画像に重畳表示される。ここで、矩形４０７ａは画像における横方向の座標、矩形４０７ｂは縦方向の座標の入力用の矩形であるとする。続いて、ユーザーは、表示部３７に表示された画像において、テンキー４０６を操作することにより、矩形４０７ａ，４０７ｂ内に各々数値を入力する。ここで、図中左向き矢印で示されるキー４０８はバックスペースキーであり、誤入力された数値入力を修正するのに使用される。すると、表示部３７において、これらの数値に対応する２次元座標位置上にポインタ４０３が出現する。このとき、このポインタ４０３が抽出したい被写体を示す位置にあれば、決定ボタン４０５を押下することにより、２次元座標位置が指定される。以上の操作で、画像における２次元座標位置を指定することができる。
【００７０】
図４において、このように２次元座標位置の指定が終了すると、２次元座標位置付近の距離に基づいて被写体を抽出する（ステップＳ３）。このステップＳ３の処理は被写体抽出部４１により行われる。以下、被写体抽出部４１の構成・動作を説明する。
【００７１】
［被写体抽出部４１の構成・動作］
被写体抽出部４１は、座標指定部４０により指定された２次元座標位置に対応する被写体までの距離を読み取り、この距離に存在する被写体を抽出するものである。これにより、２次元座標位置という視覚に訴える情報に基づいて被写体が抽出されるので、従来の技術と比較して格段に直観的な被写体の抽出が可能となる。しかし、これの処理だけでは図１９で説明した従来の技術の問題点を解消できないため、以下において所望の被写体のみを抽出することを可能とする被写体抽出部４１の動作について説明する。
【００７２】
図１０は、このような動作を説明するための説明図である。図１０に示すように、指定された２次元座標位置を点Ｐ、また、この点Ｐの上下左右の４近傍内の点を点Ｐｉ（ｉ＝１，２，３，４）とする。ここで、点Ｐｉと点Ｐとの画像における距離は、1画素であっても２以上の或る一定数の画素であっても構わない。点Ｐが指定されると、点Ｐにおける被写体までの距離と点Ｐｉにおける被写体までの距離との類否を判定し、両者が類似と判定されれば点Ｐｉを被写体領域として統合する。ここで、類否判定の基準として、点Ｐと点Ｐｉとの距離の差分を用いる。そして、この差分が予め定められた閾値ｄ以下であれば、点Ｐｉを被写体領域として統合する。
【００７３】
その結果、例えば、図１０（ａ）においては、点Ｐ１，Ｐ３，Ｐ４の３点が、新たに被写体領域として統合される。次に、新たに統合された点Ｐｉ（図１０（ａ）における点Ｐ１，Ｐ３，Ｐ４）を開始点とし、同様に距離の類否を判定し、新たな被写体領域を統合する。このような処理を順次実行し、新たに統合される４近傍内の点が存在しなくなれば、処理を終了する。
【００７４】
以上により、最終的に図１０（ｂ）に白抜きで示すように被写体領域が抽出される。さらに、撮影又は入力された前記画像とこの被写体領域とを照合することにより、図１０（ｃ）に示すように、２次元座標位置で指定した点付近の被写体のみが抽出された画像が生成される。
【００７５】
ところで、距離の差分の閾値ｄは、ユーザーにより手動で設定しても、画像処理装置1において自動的に決定しても構わないが、従来の技術で説明したように、ユーザーにとっては実際の被写体までの距離は直観的に把握し難いので、距離の差分の閾値ｄを手動で設定するのは困難である。従って、画像全体の距離データを統計的に解析し、得られた統計量に基づいてこの閾値ｄを自動的に決定する方式が好適である。
【００７６】
以下、その動作の一例を説明する。まず、図１１に示すように、被写体までの距離のヒストグラムをとる。次に、このヒストグラムを基に、クラスタリングを行うことにより距離データを任意のＮ個のクラスタＣｊ（ｊ＝１，…，Ｎ）に分類する。例えば、図１１は被写体までの距離が３つのクラスタに分類されたことを示している。ここで、クラスタリングの方法は、公知技術である階層的クラスタリング法、Ｋ−means法などを用いれば良い。
【００７７】
次に、各クラスタＣｊにおいて距離データの統計量を算出する。例えば、各クラスタにおける距離データは正規分布を示すと仮定することにより、クラスタＣｊに対して距離データの平均値ｍｊ及び標準偏差σｊを各々算出し、これらを前述の統計量として用いることができる。最後に、上記の手順により得られた統計量に基づいて閾値ｄを決定する。例えば、閾値ｄは各クラスタの標準偏差を用いて（１）式と決定される。
【００７８】
【数１】
以上の構成・動作により、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から所望の被写体のみを抽出することができる。
【００８０】
本発明の第二の実施の形態を図１２ないし図１７に基づいて説明する。図１ないし図１１で示した部分と同一又は相当する部分は同一符号を用いて示し、説明も省略する。
【００８１】
本実施の形態の画像処理装置１は、基本的には、図３に示した第一の実施の形態の構成と同様であるが、距離測定部３９を視差検出手段としての視差検出部４２に置き換えたものである。この視差検出部４２は主制御部３４，フレームメモリ３５及び被写体抽出部４１に接続されている。
【００８２】
ここで、図１２に示す本実施の形態の画像処理装置１とその前提となる基本ハードウェア構成を示した図１及び図２との対応関係も、基本的には、図３で説明した場合と同様であるが、視差検出部４２はＣＰＵ１１により構成されている。
【００８３】
このような構成を有する本実施の形態の画像処理装置１において、信号処理部３２は、撮像部３１で撮像され又はＩ／Ｆ３６を介して外部から入力された、少なくとも２枚の視差のある画像に対して所定の処理を施す。また、主制御部３４は画像処理装置を構成する各部を集中的に制御し、フレームメモリ３５はメモリ制御部３３の命令により、少なくとも２枚分の画像信号を蓄積する。また、表示部３７はＩ／Ｆ３６を介して供給された画像信号を表示し、外部記憶部３８はＩ／Ｆ３６を介して画像信号等の種々の信号を読み書きする。また、視差検出部４２は、少なくとも２枚の視差のある画像に対して視差を検出するが、この動作の詳細については後述する。
【００８４】
次に、本実施の形態に係る画像処理方法を図１３のフローチャートを参照して説明する。まず、ユーザーは撮像部３１により撮影された画像、又は、予め撮影されＩ／Ｆ３６を介して供給された、少なくとも２枚の視差のある画像を入力する（ステップＳ１１）。次に、視差検出部４２により、この２枚の視差のある画像における視差を検出する（ステップＳ１２）。ここで、視差検出部４２は、濃度相関によるブロックマッチング、オプティカル・フローなどの従来技術を適用することにより実現される。以下においては、濃度相関によるブロックマッチングを適用するものと仮定して、視差検出部４２の構成・動作を説明する。
【００８５】
［視差検出部４２の構成・動作］
図１４は視差検出部４２の構成の一例を示す図である。図１４に示すように、視差検出部４２は特徴点設定部４２１、相関演算部４２２により構成される。図１２のフレームメモリ３５には、視差を有する２枚の画像が格納されており、各々画像１、画像２と呼ぶこととする。特徴点設定部４２１は画像１において特徴点の位置を決定する。また、特徴点を中心とする（２Ｎ＋１）(２Ｐ＋１)のブロックを生成し、このブロック内の濃淡パターンを抽出する。ここで、特徴点の位置は、1又は一定数の画素毎に選択する、角（corner）のように画像の濃度パターンが特徴的である箇所を抽出するなどの方法により決定される。相関演算部４２２は、画像１において作成されたブロックの濃淡パターンとほぼ一致する箇所を、画像２において相関演算により検出し、これを対応点と決定する。
【００８６】
ここで、図１５に基づいて濃度相関によるブロックマッチングにより対応点を検出する動作について具体的に説明する。図１５に示すように、（２Ｎ＋１）(２Ｐ＋１)のブロックを用い、ブロックマッチングで、画像１におけるの特徴点（ｍ，ｎ）と、画像２における点（ｍ＋ｄｍ，ｎ＋ｄｎ）の正規化相互相関値Ｓは、次式（２）により計算される。ここで、（２）式において、Ｉ１(ｘ，ｙ)：画像１の点(ｘ，ｙ)における濃度、Ｉ２(ｘ，ｙ)：画像２の点(ｘ，ｙ)における濃度である。
【００８７】
【数２】
全ての特徴点(ｍ，ｎ)に対して、以上の計算に基づき正規化相互相関値Ｓが最大となる画像２における点を求め、かつ、この正規化相互相関値Ｓが予め定められた閾値以上であれば、その点を対応点とすればよい。その結果、全ての特徴点に対して視差を示すベクトル(ｄｍ，ｄｎ)を得ることができる。
【００８９】
図１３において、視差の検出が終了すると、画像において被写体が写された領域を示す２次元座標位置を指定させる（ステップＳ１３）。このステップＳ１３の作業は、座標指定部４０により行われるが、その動作は第一の実施の形態で説明した通りであり、説明を省略する。
【００９０】
２次元座標位置の指定が終了すると、２次元座標位置付近の視差に基づいて被写体を抽出する（ステップＳ１４）。このステップＳ３の処理は、第一の実施の形態の場合と同様に、被写体抽出部４１により行われるが、その動作は第一の実施の形態の場合とはやや異なる。そこで、本実施の形態における被写体抽出部４１の構成・動作を説明する。
【００９１】
［被写体抽出部４１の構成・動作］
図１６は本実施の形態における被写体抽出部４１の動作の一例を示す説明図である。まず、図１６（ａ）（ｂ）は入力された２枚の視差を有する画像を示す図である。図１６（ｃ）は視差検出部４２により検出された、この２枚の画像における視差と、座標指定部４０により指定された２次元座標位置である点Ｐとを示す図である。図１６（ｄ）は、同図（ｃ）において点Ｐ付近を拡大した図であり、点Ｐにおける視差を示すベクトルをｖ、点Ｐの上下左右の４近傍内の点Ｐｉ(ｉ＝１，２，３，４)における視差を示すベクトルをｖｉとする。ここで、点Ｐｉと点Ｐとの画像における距離は、視差検出部４２が検出した特徴点の間隔と一致するが、この間隔は1画素であっても２以上のある一定数の画素であっても構わない。
【００９２】
点Ｐが指定されると、ベクトルｖとベクトルｖｉとの類否を判定し、両者が類似と判定されれば点Ｐｉを被写体領域として統合する。ここで、類否判定の基準として、ベクトルｖとベクトルｖｉとの差分ベクトルｖｉ−ｖのユークリッド距離、即ち、Ｌ２ノルム‖ｖｉ−ｖ‖を用いる。そして、‖ｖｉ−ｖ‖が予め定められた閾値Ｄ以下であれば、点Ｐｉを被写体領域として統合する。その結果、例えば、図１６（ｄ）においては、点Ｐ１，Ｐ３，Ｐ４の３点が、新たに被写体領域として統合される。次に、新たに統合された点Ｐｉ（図１６（ｄ）における点Ｐ１，Ｐ３，Ｐ４）を開始点とし、同様に視差の類否を判定し、新たな被写体領域を統合する。このような処理を順次実行し、新たに統合される４近傍内の点が存在しなくなれば、処理を終了する。
【００９３】
以上の構成・処理により、第一の実施の形態の場合と同様に、最終的に図１０（ｃ）に示した場合のように、２次元座標位置で指定した点付近の被写体のみが抽出された画像が生成される。
【００９４】
ところで、視差の差分ベクトルのＬ２ノルムの閾値Ｄは、ユーザーにより手動で設定しても、画像処理装置1において自動的に決定しても構わないが、被写体までの距離と同様に、ユーザーにとって視差は直観的に把握し難いので、該閾値Ｄを手動で設定するのは困難である。従って、画像全体の視差データを統計的に解析し、得られた統計量に基づいて該閾値Ｄを自動的に決定する方式が好適である。
【００９５】
以下において、その動作の一例を説明する。まず、図１７に示すように、画像における視差に対して、横軸を視差の横方向の成分ｄｍ、縦軸を視差の縦方向の成分ｄｎとする分布をとる。次に、このような分布を基にクラスタリングを行うことにより、視差データを任意のＮ個のクラスタＣｊ(ｊ＝１，…，Ｎ)に分類する。例えば、図１７は視差データが３つのクラスタに分類されたことを示している。ここで、クラスタリングの方法は、公知技術である階層的クラスタリング法、Ｋ−means法などを用いれば良い。次に、各クラスタＣｊにおいて視差データの統計量を算出する。例えば、各クラスタにおける視差データは等方的な２次元正規分布を示すと仮定することにより、クラスタＣｊに対して視差データの平均ベクトルμｊ、ｄｍ軸方向の標準偏差σｍｊ、及び、ｄｎ軸方向の標準偏差σｎｊを各々算出し、これらを上述の十の統計量として用いることができる。最後に、このような手順により得られた統計量に基づき閾値Ｄを決定する。例えば、この閾値Ｄは各クラスタにおける視差の標準偏差を用いて、（３）式により決定される。
【００９６】
【数３】
以上の構成・動作により、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から所望の被写体のみを抽出することができる。
【００９８】
本発明の第三の実施の形態を図１８に基づいて説明する。本実施の形態は、前述の第一，第二の実施の形態による画像処理方法をコンピュータプログラムとして記述した場合の適用例を示している。
【００９９】
例えば、図１８（ａ）に示すように、当該コンピュータプログラムを格納した記録媒体１７１をコンピュータとしても機能する画像処理装置１に装着し、画像処理装置１に当該コンピュータプログラムをインストールしてプログラムを実行させることにより、上述したような画像処理を容易に実現することができる。
【０１００】
また、図１８（ｂ）に示すように、当該コンピュータプログラムを格納したＣＤ−ＲＯＭ１７２をパーソナルコンピュータ（以下、“ＰＣ”と略す）１７３に装着し、当該コンピュータプログラムをＰＣ１７３にインストールして実行させることによっても、上述したような画像処理を容易に実現することができる。なお、ＰＣ１７３へ装着され当該コンピュータプログラムを格納する記録媒体としては、ＣＤ−ＲＯＭ１７２に限らず、例えばＤＶＤ−ＲＯＭ等であってもよいことはいうまでもない。
【０１０１】
前述した画像処理方法を当該コンピュータプログラムの実行により実現する場合の具体例を説明する。この場合には、画像処理装置1又はＰＣ１７３は、内蔵されたメモリやハードディスクなどの記憶装置及びＣＤ−ＲＯＭ等の記録媒体に格納され、又は電気通信回線を介してサーバーなどの他の計算機の記憶装置等に格納された画像を、ＰＣ１７３に搭載された各種インターフェースを介して信号処理部３２へ取り込む。
【０１０２】
また、前述した被写体までの距離については、予め距離画像を作成しておき、該記録媒体の内部に記録しておく。そして、ユーザーは画面上において、その画像に対応する距離画像を選択することにより、被写体までの距離をＰＣ１７３に入力することができる。一方、距離画像に関する情報は、対応する画像におけるヘッダ情報として記録しておくこともできる。例えば、当該画像のフォーマットとしてＥｘＩ／Ｆ（Exchangeable image file format）を採用する場合、そのヘッダ情報中のMaker Noteと呼ばれる、製造者が自由に利用できるフィールドに当該距離画像のファイル名やその存在場所を記録することができる。そして、ＰＣ１７３はこのヘッダ情報を読み取ることにより、当該距離画像を入力することができる。
【０１０３】
また、前述の視差の検出については、視差検出部４２の動作を、ＰＣ１７３内のＣＰＵによりそのまま実現させることができる。
【０１０４】
また、前述の２次元座標の指定は、ＰＣ１７３のキーボードにおけるカーソルキーなどの所定のキーを操作した後、改行キーを押下し、又は、画面上に表示されたマウスカーソルをマウスで動かした後、左ボタンをクリックすることにより遂行される。また、２次元座標位置を数値入力により指定する場合は、テンキーなどが利用できる。
【０１０５】
さらに、前述の被写体の抽出については、被写体抽出部４１の動作をＰＣ１７３内のＣＰＵによりそのまま実現させることができる。
【０１０６】
なお、本発明は、前述の実施の形態で例示した構成・動作例に減縮されるものでないことは言うまでもない。例えば、第一の実施の形態において、被写体までの距離の類否判定の尺度として距離の差分を用いたが、近傍の点Ｐｉにおける距離が点Ｐと同一のクラスタに属するならば被写体領域として統合するなど、これ以外の尺度を適用しても構わない。また、各クラスタにおける距離データの分布が正規分布であると仮定して統計量を算出する手順を説明したが、もちろんこれ以外の分布を用いても構わない。
【０１０７】
また、第二の実施の形態において、視差の類否判定の尺度として差分ベクトルのＬ２ノルムを用いたが、２次元座標位置近傍の点Ｐｉにおける視差が点Ｐと同一のクラスタに属するならば被写体領域として統合するなど、これ以外の尺度を適用しても構わない。また、各クラスタにおける視差データの分布が正規分布であると仮定して統計量を算出する手順を説明したが、もちろんこれ以外の分布を用いても構わない。
【０１０８】
【発明の効果】
本発明によれば、指定された２次元座標位置付近の距離に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１０９】
本発明によれば、前記の画像処理方法において、指定された２次元座標位置における距離と当該２次元座標位置の近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定するようにしたので、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１０】
本発明によれば、前記の画像処理方法において、被写体領域の拡大の可否を画像における被写体までの距離の統計量に基づき判定するようにしたので、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１１】
本発明によれば、指定された２次元座標位置付近の視差に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１１２】
本発明によれば、前記の画像処理方法において、指定された２次元座標位置における視差と当該２次元座標位置の近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定するようにしたので、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１３】
本発明によれば、前記の画像処理方法において、被写体領域の拡大の可否を、画像における被写体までの視差の統計量に基づいて判定するようにしたので、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、被写体を抽出することができる。
【０１１４】
本発明によれば、指定された２次元座標位置付近の距離に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１１５】
本発明によれば、前記の画像処理装置において、指定された２次元座標位置における距離と当該２次元座標位置の近傍の２次元座標位置における距離との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定するようにしたので、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１６】
本発明によれば、前記の画像処理装置において、被写体領域の拡大の可否を、画像における被写体までの距離の統計量に基づき判定するようにしたので、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１７】
本発明によれば、指定された２次元座標位置付近の視差に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１１８】
本発明によれば、前記の画像処理装置において、指定された２次元座標位置における視差と当該２次元座標位置の近傍の２次元座標位置における視差との類否に基づいて、抽出すべき被写体領域の拡大の可否を判定するようにしたので、入力又は撮影された画像から、所望の被写体のみを抽出することができる。
【０１１９】
本発明によれば、前記の画像処理装置において、被写体領域の拡大の可否を、画像における被写体までの視差の統計量に基づいて判定するようにしたので、さらに容易にかつ高い信頼性をもって、入力又は撮影された画像から、被写体を抽出することができる。
【０１２０】
本発明によれば、前記の画像処理装置において、指定手段が２次元座標位置をポインティングする手段を具備することにより、２次元座標位置を直観的に指定できる。
【０１２１】
本発明によれば、前記の画像処理装置において、指定手段が２次元座標位置を数値入力する手段を具備することにより、２次元座標位置を直観的に指定できる。
【０１２２】
本発明によれば、指定された２次元座標位置付近の距離に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１２３】
本発明によれば、指定された２次元座標位置付近の視差に基づいて、被写体を抽出するようにしたので、入力された画像において所望の被写体に含まれる２次元座標を指定するという極めて直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができる。
【０１２４】
本発明によれば、指定された２次元座標位置付近の距離に基づいて、被写体を抽出するようにしたので、入力された画像における２次元座標の指定という直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、コンピュータプログラムを利用して実現できる。
【０１２５】
本発明によれば、指定された２次元座標位置付近の視差に基づいて、被写体を抽出するようにしたので、入力された画像における２次元座標の指定という直観的な指示に基づいて、入力又は撮影された画像から被写体を抽出することができ、コンピュータプログラムを利用して実現できる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態の画像処理装置の基本となるハードウェア構成例を示すブロック図である。
【図２】本発明の第一の実施の形態の撮像装置の基本となるデジタルカメラのハードウェア構成例を示すブロック図である。
【図３】本発明の第一の実施の形態の画像処理装置の構成例を示すブロック図である。
【図４】画像処理方法を示す概略フローチャートである。
【図５】距離測定部の一例を示す原理的構成図である。
【図６】距離画像に関する説明図である。
【図７】座標指定部の一例を示す説明図である。
【図８】座標指定部の他例を示す説明図である。
【図９】座標指定部のさらに異なる一例を示す説明図である。
【図１０】被写体抽出部の動作の一例を示す説明図である。
【図１１】被写体までの距離のヒストグラムを示す説明図である。
【図１２】本発明の第二の実施の形態の画像処理装置の構成例を示すブロック図である。
【図１３】画像処理方法を示す概略フローチャートである。
【図１４】視差検出部の一例を示すブロック図である。
【図１５】視差検出部の動作の一例を示す説明図である。
【図１６】被写体抽出部の動作の一例を示す説明図である。
【図１７】類否判定処理例を示す説明図である。
【図１８】本発明の第三の実施の形態を示し、（ａ）は画像処理装置の斜視図、（ｂ）はＰＣの斜視図である。
【図１９】従来例方式を示す説明図である。
【符号の説明】
３１ 撮像手段
３５ 画像メモリ
３９ 距離検出手段
４０ 指定手段
４０３，４０４ ポインティング手段、指定手段
４０６ 数値入力手段、指定手段
４１ 抽出手段
４２ 視差検出手段
Claims (10)
- 被写体までの距離に基づいて、画像中から所望の被写体を抽出する画像処理装置における画像処理方法であって、
前記画像処理装置の距離測定部が、入力又は撮影された前記画像における被写体までの距離を検出する第１のステップと、
前記画像処理装置の座標指定部が、前記画像における２次元座標位置を指定する第２のステップと、
前記画像処理装置の被写体抽出部が、指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する第３のステップとを有し、
前記第３のステップは、
指定された前記２次元座標位置における距離と当該２次元座標位置近傍の２次元座標位置における距離との差分に基づいて類否判定を行なうステップと、
当該類否判定により類似と判定された当該２次元座標位置近傍の２次元座標位置を、被写体領域として判定するステップと、
前記被写体領域を抽出すべき被写体として抽出するステップとを有し、
前記類否判定を行なうステップにおいて、類似とされる類否判定の基準は、前記差分が、前記画像に応じて定められる閾値以下であり、当該閾値は、前記画像における被写体までの距離のヒストグラムに基づきクラスタされた距離データにおいて、各クラスタの距離データの統計量に基づき決定されること、
を特徴とする画像処理方法。 - 前記類否判定を行なうステップ及び前記判定するステップは、前記類否判定により類似と判定される前記２次元座標位置近傍の２次元座標位置が存在する限り実行されること、
を特徴とする請求項１に記載の画像処理方法。 - 被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像に基づいて、画像中から所望の被写体を抽出する画像処理装置における画像処理方法であって、
前記画像処理装置の視差検出部が、入力又は撮影された前記少なくとも２枚の視差のある画像における視差ベクトルを検出する第１のステップと、
前記画像処理装置の座標指定部が、少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する第２のステップと、
前記画像処理装置の被写体抽出部が、指定された前記２次元座標位置付近の視差ベクトルに基づいて、被写体を抽出する第３のステップとを有し、
前記第３のステップは、
指定された前記２次元座標位置における視差ベクトルと当該２次元座標位置近傍の２次元座標位置における視差ベクトルとの差分ベクトルに基づいて類否判定を行なうステップと、
当該類否判定により類似と判定された当該２次元座標位置近傍の２次元座標位置を、被写体領域として判定するステップと、
前記被写体領域を抽出すべき被写体として抽出するステップとを有し、
前記類否判定を行なうステップにおいて、類似とされる類否判定の基準は、前記差分ベクトルのユークリッド距離が、予め定められた閾値以下であること、
を特徴とする画像処理方法。 - 被写体までの距離に基づいて、画像中から所望の被写体を抽出する画像処理装置であって、
入力又は撮影された前記画像における被写体までの距離を検出する検出手段と、
前記画像における２次元座標位置を指定する指定手段と、
指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する抽出手段とを有し、
前記抽出手段は、
指定された前記２次元座標位置における距離と当該２次元座標位置近傍の２次元座標位置における距離との差分に基づいて類否判定を行ない、
当該類否判定により類似と判定された当該２次元座標位置近傍の２次元座標位置を、被写体領域として判定し、
前記被写体領域を抽出すべき被写体として抽出し、
類似とされる前記類否判定の基準は、前記差分が、前記画像に応じて定められる閾値以下であり、当該閾値は、前記画像における被写体までの距離のヒストグラムに基づきクラスタされた距離データにおいて、各クラスタの距離データの統計量に基づき決定されること、
を特徴とする画像処理装置。 - 前記抽出手段は、類似と判定される前記２次元座標位置近傍の２次元座標位置が存在する限り、前記類否判定を行うこと、
を特徴とする請求項４に記載の画像処理装置。 - 被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像に基づいて、画像中から所望の被写体を抽出する画像処理装置であって、
入力又は撮影された少なくとも２枚の視差のある画像における視差ベクトルを検出する視差検出手段と、
少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する指定手段と、
指定された前記２次元座標位置付近の視差ベクトルに基づいて、被写体を抽出する抽出手段とを有し、
前記抽出手段は、
指定された前記２次元座標位置における視差ベクトルと当該２次元座標位置近傍の２次元座標位置における視差ベクトルとの差分ベクトルに基づいて類否判定を行ない、
当該類否判定により類似と判定された当該２次元座標位置近傍の２次元座標位置を、被写体領域として判定し、
前記被写体領域を抽出すべき被写体として抽出し、
類似とされる前記類否判定の基準は、前記差分ベクトルのユークリッド距離が、予め定められた閾値以下であること、
を特徴とする画像処理装置。 - 前記指定手段は、２次元座標位置をポインティングする手段を具備することを特徴とする請求項４ないし６の何れか一記載の画像処理装置。
- 前記指定手段は、２次元座標位置を数値入力する手段を具備することを特徴とする請求項４ないし６の何れか一記載の画像処理装置。
- 被写体を撮影し、前記被写体の画像を表す映像信号を発生させる撮像手段を有する撮像装置であって、
前記被写体を撮影した画像を記憶する画像メモリと、
前記被写体までの距離を検出する距離検出手段と、
前記画像メモリに記憶された画像における２次元座標位置を指定する指定手段と、
指定された前記２次元座標位置付近の距離に基づいて、被写体を抽出する抽出手段とを有し、
前記抽出手段は、
指定された前記２次元座標位置における距離と当該２次元座標位置近傍の２次元座標位置における距離との差分に基づいて類否判定を行ない、
当該類否判定により類似と判定された当該２次元座標位置近傍の２次元座標位置を、被写体領域として判定し、
前記被写体領域を抽出すべき被写体として抽出し、
類似とされる前記類否判定の基準は、前記差分が、前記画像に応じて定められる閾値以下であり、当該閾値は、前記画像における被写体までの距離のヒストグラムに基づきクラスタされた距離データにおいて、各クラスタの距離データの統計量に基づき決定されること、
を特徴とする撮像装置。 - 被写体を撮影し、前記被写体の画像を表す映像信号を発生させる撮像手段を有する撮像装置であって、
前記撮像手段に接続され、前記被写体の少なくとも一部が共通して撮影された少なくとも２枚の視差のある画像を記憶する画像メモリと、
記憶された少なくとも２枚の視差のある前記画像における視差ベクトルを検出する視差検出手段と、
記憶された少なくとも２枚の視差のある前記画像中の一の画像における２次元座標位置を指定する指定手段と、
指定された前記２次元座標位置付近の視差ベクトルに基づいて、被写体を抽出する抽出手段とを有し、
前記抽出手段は、
指定された前記２次元座標位置における視差ベクトルと当該２次元座標位置近傍の２次元座標位置における視差ベクトルとの差分ベクトルに基づいて類否判定を行ない、
当該類否判定により類似と判定された当該２次元座標位置近傍の２次元座標位置を、被写体領域として判定し、
前記被写体領域を抽出すべき被写体として抽出し、
類似とされる前記類否判定の基準は、前記差分ベクトルのユークリッド距離が、予め定められた閾値以下であること、
を特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001176521A JP4348028B2 (ja) | 2001-06-12 | 2001-06-12 | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001176521A JP4348028B2 (ja) | 2001-06-12 | 2001-06-12 | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002366963A JP2002366963A (ja) | 2002-12-20 |
| JP4348028B2 true JP4348028B2 (ja) | 2009-10-21 |
Family
ID=19017497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001176521A Expired - Fee Related JP4348028B2 (ja) | 2001-06-12 | 2001-06-12 | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4348028B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4287647B2 (ja) * | 2002-12-27 | 2009-07-01 | 株式会社Ｉｈｉ | 環境状況把握装置 |
| EP3190546A3 (en) * | 2003-06-12 | 2017-10-04 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
| US7528830B2 (en) * | 2003-09-17 | 2009-05-05 | Koninklijke Philips Electronics N.V. | System and method for rendering 3-D images on a 3-D image display screen |
| JP4939901B2 (ja) * | 2006-11-02 | 2012-05-30 | 富士フイルム株式会社 | 距離画像生成方法及びその装置 |
| JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
| EP2225725A2 (en) * | 2007-12-20 | 2010-09-08 | Koninklijke Philips Electronics N.V. | Segmentation of image data |
| JP5211680B2 (ja) * | 2007-12-26 | 2013-06-12 | カシオ計算機株式会社 | オートフォーカス装置、オートフォーカス方式選択方法及びプログラム |
| JP2010154323A (ja) * | 2008-12-25 | 2010-07-08 | Casio Computer Co Ltd | 画像処理装置、画像抽出方法、および、プログラム |
| JP4860763B2 (ja) * | 2010-03-29 | 2012-01-25 | シャープ株式会社 | 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体 |
| JP5393593B2 (ja) * | 2010-05-31 | 2014-01-22 | 日立コンシューマエレクトロニクス株式会社 | 多視点画像補正装置 |
| JP4806088B1 (ja) * | 2010-06-28 | 2011-11-02 | シャープ株式会社 | 画像変換装置、画像変換装置の制御方法、画像変換装置制御プログラムおよび記録媒体 |
| JP5694060B2 (ja) * | 2011-06-06 | 2015-04-01 | シャープ株式会社 | 画像処理装置、画像処理方法、プログラム、撮像装置及びテレビジョン受像機 |
| JP6085943B2 (ja) * | 2012-10-23 | 2017-03-01 | 凸版印刷株式会社 | 視差制御装置及び視差制御プログラム |
| JP6609920B2 (ja) * | 2014-12-25 | 2019-11-27 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JP6504693B2 (ja) * | 2015-01-06 | 2019-04-24 | オリンパス株式会社 | 撮像装置、操作支援方法及び操作支援プログラム |
-
2001
- 2001-06-12 JP JP2001176521A patent/JP4348028B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002366963A (ja) | 2002-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6011470B2 (ja) | 予備画像を分析する装置、方法及びプログラム | |
| JP4348028B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
| US7756408B2 (en) | Focus control amount determination apparatus, method, and imaging apparatus | |
| CN107948517B (zh) | 预览画面虚化处理方法、装置及设备 | |
| JP5456159B2 (ja) | 背景から前景の頭頂部を分離するための方法および装置 | |
| US9503629B2 (en) | Image processing apparatus, image processing method, and computer-readable device having instructions for generating focused image | |
| US8331619B2 (en) | Image processing apparatus and image processing method | |
| US7885477B2 (en) | Image processing method, apparatus, and computer readable recording medium including program therefor | |
| JP4772839B2 (ja) | 画像識別方法および撮像装置 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| KR101679290B1 (ko) | 영상 처리 방법 및 장치 | |
| US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
| US7903164B2 (en) | Image capturing apparatus, an image capturing method and a machine readable medium storing thereon a computer program for capturing an image of a range wider than an image capture designation range | |
| KR101642402B1 (ko) | 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법 | |
| JP2005303991A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
| JP2000126134A (ja) | 眼底計測装置及び眼底計測プログラムを記録した記録媒体 | |
| WO2012014946A1 (ja) | 画像処理装置、および画像処理プログラム | |
| JP4363154B2 (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JP2015156540A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP4632417B2 (ja) | 撮像装置、及びその制御方法 | |
| JP2001250114A (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
| KR102022559B1 (ko) | 듀얼 카메라를 이용한 무배경 이미지 촬영과 이를 이용한 합성사진 촬영 방법 및 컴퓨터 프로그램 | |
| JP4363153B2 (ja) | 撮影装置、その画像処理方法及びプログラム | |
| JP2004145592A (ja) | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 | |
| JP2014134723A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041004 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060828 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090714 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090717 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |