JP7780286B2 - 表示制御装置、表示制御方法、及びプログラム - Google Patents

表示制御装置、表示制御方法、及びプログラム

Info

Publication number
JP7780286B2
JP7780286B2 JP2021159721A JP2021159721A JP7780286B2 JP 7780286 B2 JP7780286 B2 JP 7780286B2 JP 2021159721 A JP2021159721 A JP 2021159721A JP 2021159721 A JP2021159721 A JP 2021159721A JP 7780286 B2 JP7780286 B2 JP 7780286B2
Authority
JP
Japan
Prior art keywords
depth
annotation information
information
display control
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021159721A
Other languages
English (en)
Other versions
JP2023049773A5 (ja
JP2023049773A (ja
Inventor
駿 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021159721A priority Critical patent/JP7780286B2/ja
Priority to US17/935,850 priority patent/US12555395B2/en
Publication of JP2023049773A publication Critical patent/JP2023049773A/ja
Publication of JP2023049773A5 publication Critical patent/JP2023049773A5/ja
Priority to JP2025201035A priority patent/JP2026015573A/ja
Application granted granted Critical
Publication of JP7780286B2 publication Critical patent/JP7780286B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、表示制御装置、表示制御方法、及びプログラムに関し、特に注釈情報を表示するように制御する技術に関する。
ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、単一の静止画、複数の静止画、又は、画像シーケンス（静止画のバースト等）を１つのファイルに格納するための標準化を行っている。本標準は、ＨＥＩＦ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）と呼ばれ、画像と画像シーケンスの交換、編集、及び表示を可能とする。
また、ＨＥＩＦでは表示用の画像だけでなく表示画像を表示する際に補助となる非表示画像を格納するための構造を有している。例えば、表示用画像と非表示画像とをそれぞれ画像アイテムとして格納しておき、ＩｔｅｍＲｅｆｅｒｅｎｃｅをＴｙｐｅ＝'ａｕｘｌ'として非表示画像と表示用画像のアイテムＩＤを設定することで両者を関連付けることができる。表示画像を出力する際に補助となる非表示画像として深度マップ画像がある。深度マップは、三次元空間の奥行きを表現するための情報であり、深度マップ画像は一般的にグレースケールの濃淡によりカメラから対象物までの距離を表現した画像である。深度マップ画像を利用することで三次元画像の生成やリフォーカス画像の生成等が可能となる。特許文献１では、リフォーカス画像の生成方法が記載されている。
現在、ＭＰＥＧではＨＥＩＦ規格に対して拡張を検討しており、画像内の領域を指定するメタデータ構造としてＲｅｇｉｏｎ ｉｔｅｍに関する規格化の検討を行っている。Ｒｅｇｉｏｎ ｉｔｅｍは画像内の領域を指定したメタデータアイテムとしてＨＥＩＦファイルに格納し、これを画像に関連付けることで画像内の特定の領域を示すことができる構造となっている。さらにこのＲｅｇｉｏｎ ｉｔｅｍに対して注釈をつけることを可能な構成としている。注釈のつけ方はＲｅｇｉｏｎ ｉｔｅｍに関連づけるアイテムプロパティとして格納する方法と、別の画像をＲｅｇｉｏｎ ｉｔｅｍに関連付ける方法、ＨＥＩＦの外部で定義されたメタデータを関連付ける方法が検討されている。アイテムプロパティとしてはｕｄｅｓで識別されるユーザ記述プロパティを用いることで任意のタグ情報や名前、記述情報を画像内の領域に対して関連付けることが可能となっている。以降、注釈が付けられたＲｅｇｉｏｎ ｉｔｅｍを領域注釈情報と称する。
特開２０１３－６１７４３号公報
一つの表示画像に対して当該表示画像に関連付けられた複数の領域注釈情報を重畳して出力する方法として、例えば画像ファイルにおける領域注釈情報の格納順に重畳する方法や領域注釈情報の領域の横軸座標又は縦軸座標の順番に重畳する方法が考えられる。
しかし、一つの表示画像に多くの領域注釈情報が関連付けられている場合や、領域注釈情報間で領域に重なりがある場合に、全ての領域注釈情報を一様に重畳してしまうと領域が示すオブジェクトと注釈情報との対応関係を直感的に認識しにくくなることがある。
本発明は、上記の課題に鑑みてなされたものであり、画像中の領域と、当該領域に対する注釈情報との対応関係を直感的に認識するための技術を提供することを目的とする。
上記の目的を達成するための本発明の一態様による表示制御装置は、
画像に含まれる所定の領域に関する注釈情報と、前記注釈情報に対応する深度に関する深度情報とを含むファイルを取得する取得手段と、
前記取得手段により取得された前記ファイルに含まれている前記深度情報に基づいて、前記注釈情報に対応する深度を決定する決定手段と、
前記ファイルに含まれている前記注釈情報を、前記決定手段により決定された深度に基づいて表示するように制御する表示制御手段と、を備え、前記ファイルが第１の注釈情報と第２の注釈情報を含む場合、前記決定手段は前記深度情報に基づいて、前記第１の注釈情報に対応する第１の深度と、前記第２の注釈情報に対応する第２の深度とを決定し、
前記表示制御手段は、前記第１の深度よりも前記第２の深度の深度が大きい場合、前記第１の注釈情報を前記第２の注釈情報よりも手前側に表示するように制御することを特徴とする。
本発明によれば、画像中の領域と、当該領域に対する注釈情報との対応関係を直感的に認識することが可能となる。
実施形態に係る画像出力装置のハードウェア構成図。 実施形態１に係る画像出力装置の機能構成図。 実施形態１に係る画像出力装置のメタデータ解析部が実施する処理の手順を示すフローチャート。 ＨＥＩＦファイル構成の一例を示す図。 表示画像と深度マップ画像の一例を示す図。 領域枠重畳図と深度表の一例を示す図。 実施形態１に係る画像出力装置が実施する表示画像と領域注釈情報の重畳処理の手順を示すフローチャート。 表示画像と領域注釈情報を重畳した出力画像の一例を示す図。 実施形態２に係る画像出力装置が実施する表示画像と領域注釈情報の重畳処理の手順を示すフローチャート。 スクロールバーによる深度指定時の出力画像の一例を示す図。 チェックボックスによる領域注釈情報指定時の出力画像の一例を示す図。 実施形態２に係る画像出力装置の機能構成図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
［実施形態１］
実施形態１では、ＨＥＩＦファイルに格納された表示画像と当該表示画像に関連付けられた全ての領域注釈情報とを重畳して出力する例を説明する。
＜ハードウェア構成＞
図１は、本実施形態における画像出力装置１００のハードウェア構成の一例を示す図である。画像出力装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォン、タブレット、プリンタ等の画像出力機能を備えた装置である。本実施形態では、ＰＣにインストールされた画像表示アプリケーションにより画像をユーザに提示する形態を想定して説明する。
画像出力装置１００は、システムバス１０１、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、通信インタフェース１０５、入力装置１０６、出力装置１０７、及び記憶装置１０８を備えている。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の略である。
システムバス１０１は、各構成要素を接続し、各種データの転送経路となる。ＣＰＵ１０２は、各ハードウェア構成部を統括的に制御し、画像出力装置１００を制御する。ＲＯＭ１０３は、ＣＰＵ１０２で実行される制御プログラム等を格納している。ＲＡＭ１０４は、ＣＰＵ１０２の主メモリ、ワークエリア等として機能し、プログラムやデータを一時記憶する。通信インタフェース１０５は、ネットワークを介して通信パケットの送受信を行うインタフェースで、例えば、無線ＬＡＮインタフェース、有線ＬＡＮインタフェース、または、公衆移動体通信インタフェース等が挙げられるが、これら以外でもよい。入力装置１０６は、ユーザが画像出力装置１００に対して画像ファイルの選択や画像出力設定を入力するインタフェースで、例えば、キーボードやマウス、タッチパッド、タッチパネル、ボタン等が挙げられる。出力装置１０７は、画像を提示したり、入力装置１０６で入力した情報や処理した結果等を表示したりするディスプレイである。タッチパネルのように入力装置１０６と出力装置１０７とが一体となっていてもよい。記憶装置１０８は、画像ファイル等を記憶する記憶装置である。例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ装置、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）等を用いた補助記憶装置が挙げられる。尚、通信インタフェース１０５や入力装置１０６、出力装置１０７、記憶装置１０８等は画像出力装置１００に内蔵されていなくてもよい。その場合、画像出力装置１００は、処理した情報を別体の出力装置１０７に出力して表示させる制御を行う。
＜機能構成＞
図２は、本実施形態における画像出力装置１００の機能構成の一例を示す図である。画像出力装置１００は、画像ファイル入力部２０１、メタデータ解析部２０２、及び画像出力制御部２０３を備えている。
画像ファイル入力部２０１は、少なくとも一つ以上の画像データが格納されたＨＥＩＦファイルを入力する。ＨＥＩＦファイルは、通信インタフェース１０５経由でカメラやスマートフォン等から入力してもよいし、ＨＥＩＦファイルが格納された記憶装置１０８、例えば、ＵＳＢフラッシュメモリやＳＤカード等から入力してもよい。
メタデータ解析部２０２は、入力されたＨＥＩＦファイルのメタデータ（ＭｅｔａＢｏｘ）を解析する。ＨＥＩＦは、ＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ：ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）で定められるツールを基に拡張された格納フォーマットである。ＨＥＩＦは、ＩＳＯ／ＩＥＣ２３００８―１２（Ｐａｒｔ１２）において「Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ」という名称で標準化が進行している。またＨＥＩＦは、メタデータを含む規範的な構造を定めており、メタデータと画像を関連付けする方法、特定の形式のメタデータの構成について定めている。
メタデータの解析は、ＨＥＩＦファイルに格納された画像データの属性情報を抽出／解析する処理である。画像データの属性情報とは、例えばＰｒｉｍａｒｙＩｔｅｍＢｏｘで指定される第一優先画像情報やＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘでＴｙｐｅ＝'ｔｈｍｂ'で指定されるサムネイル画像情報等がある。また、ＩｔｅｍＩｎｆｏＢｏｘのＩｔｅｍＩｎｆｏＥｎｔｒｙＢｏｘ内のＦｌａｇｓで示される表示／非表示画像情報、ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘでＴｙｐｅ＝'ａｕｘｌ'で指定される表示画像の補助画像情報等がある。表示画像の補助画像には、画素の不透明度を表現するアルファチャンネル画像や画素の奥行を表現する深度マップ画像等がある。表示画像と領域注釈情報の重畳に必要となるメタデータの解析処理の詳細については、図３を参照して後述する。
画像出力制御部２０３は、表示画像と領域注釈情報とを重畳して出力装置１０７に画像を出力する。ここで、本実施形態に係る領域注釈情報は、表示画像に含まれる領域を表す領域情報と、領域に関する情報を示す注釈情報とを含む。ここで、領域情報とは、例えばオブジェクトを囲む矩形の領域枠であり、例えば後述する図８の領域枠８０１１が挙げられる。注釈情報とは、領域内のオブジェクトの属性（例えばオブジェクトの種類）を示す情報であり、例えば後述する図８の注釈情報８０１等の、領域に対する注釈を表記する注釈文字であるが挙げられる。表示画像と領域注釈情報との重畳処理の詳細については図７を参照して後述する。
＜解析処理＞
次に、図３のフローチャートを参照して、本実施形態に係る画像出力装置１００のメタデータ解析部２０２が実施する処理の手順を説明する。また、図４は、ＨＥＩＦファイル４００に格納されたメタデータ４０１の例を示し、以降、図３の処理フローと図４とを参照しながら説明を行う。
Ｓ３０１において、メタデータ解析部２０２は、ＰｒｉｍａｒｙＩｔｅｍＢｏｘ４０２を解析し、表示画像となる第一優先画像アイテムＩＤ'１'を取得する。表示画像は必ずしも第一優先画像アイテムである必要はないが、本実施形態では第一優先画像アイテムを表示画像とする。また、表示画像情報として、ＩｔｅｍＩｎｆｏＢｏｘ４０３のＩｎｆｏＥｎｔｒｙからアイテムＩＤ'１'に一致するアイテムタイプ'ｈｖｃ１'を取得する。これは、ＨＥＶＣで符号化された画像アイテムであることを示す。また、ＩｔｅｍＬｏｃａｔｉｏｎＢｏｘ４０４を解析し、アイテムＩＤ'１'のデータがＭｅｄｉａＤａｔａＢｏｘ４０９のどの位置に格納されているかを把握する。ここでは、ＨＥＶＣＩｍａｇｅＤａｔａ４１０に格納されている。
更に、ＩｔｅｍＰｒｏｐｅｒｔｉｅｓＢｏｘ４０６のＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎ４０８からアイテムＩＤ'１'に一致するＡｓｓｏｃｉａｔｉｏｎＥｎｔｒｙから属するアイテム属性を把握する。ここでは、ｐｒｏｐｅｒｔｙ＿ｉｎｄｅｘ'１'と'２'を取得する。これは、ＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ４０７に記載されているアイテム属性のインデックス１'ｈｖｃＣ'とインデックス２'ｉｓｐｅ：ｗｉｄｔｈ＝１９２０，ｈｅｉｇｈｔ＝１０８０'である。'ｈｖｃＣ'はＨＥＶＣ符号化パラメータ、'ｉｓｐｅ：ｗｉｄｔｈ＝１９２０，ｈｅｉｇｈｔ＝１０８０'は画像のサイズが横１９２０ピクセル、縦１０８０ピクセルであることをそれぞれ示す。
Ｓ３０２において、メタデータ解析部２０２は、領域注釈情報の有無を確認する。領域注釈情報は、ＩｔｅｍＩｎｆｏＢｏｘ４０３においてアイテムタイプ'ｒｇａｎ'のＩｎｆｏＥｎｔｒｙであり、ここではアイテムＩＤ'３'から'９'までの７個のアイテムが相当する。領域注釈情報が無い場合は処理フローを終了する。
Ｓ３０３において、メタデータ解析部２０２は、深度マップ画像の有無を確認する。深度マップ画像は、ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘ４０５においてｒｅｆｅｒｅｎｃｅＴｙｐｅ'ａｕｘｌ'のＩｔｅｍＲｅｆｅｒｅｎｃｅであり、ここではｆｒｏｍ＿ｉｔｅｍ＿ＩＤより、アイテムＩＤ'２'が深度マップ画像アイテムＩＤとなる。
ここで、表示画像と深度マップ画像の例を図５に示す。表示画像５０１に対し、深度マップ画像５０２は奥行となる深度をグレースケールで表現した画像となる。ここでは、深度が大きい奥の領域は黒く、深度が小さい手前の領域は白く表現されているが、逆の表現であってもよい。
深度マップ画像についても表示画像と同様に、ＩｔｅｍＩｎｆｏＢｏｘ４０３のＩｎｆｏＥｎｔｒｙから符号化情報を、ＩｔｅｍＬｏｃａｔｉｏｎＢｏｘ４０４からＭｅｄｉａＤａｔａＢｏｘ４０９における画像データの位置を、ＩｔｅｍＰｒｏｐｅｒｔｉｅｓＢｏｘ４０６からアイテム属性を得る。
なお、本実施形態では深度マップ画像が無い場合は処理フローを終了するが、深度マップ画像を生成する生成部（不図示）をさらに設け、深度マップ画像を動的に生成してもよい。例えば、表示画像がステレオ画像であれば両眼視差を利用して生成する方法が一般的である。また、近年ではＡＩ技術により単眼画像であっても深度マップを生成することができる。深度マップ画像の生成については種々の公知技術を適用可能である。
Ｓ３０４において、メタデータ解析部２０２は、深度マップを解析する。深度マップの解析では表示画像の各画素の奥行となる深度を数値として取得する。深度マップ画像が符号化されていれば復号し、各画素の光度から深度の情報を取得する。
Ｓ３０５及びＳ３０６において、メタデータ解析部２０２は、全領域注釈情報について深度を決定する。領域注釈情報は、ＩｔｅｍＬｏｃａｔｉｏｎＢｏｘ４０４で示されたＭｅｄｉａＤａｔａＢｏｘ４０９内の格納位置ＲｅｇｉｏｎＩｔｅｍＤａｔａ４１１から取得する。領域注釈情報には、マッピング画像のサイズと領域の形状、マッピング画像サイズにおける座標、領域のサイズ等の情報が含まれている。
マッピング画像のサイズは必ずしも表示画像のサイズに一致していなくてもよい。表示画像のサイズと異なる場合は、マッピング画像サイズの比率に合わせた座標及び領域サイズに変換して表示画像に対して使用される。ここで領域の形状はｇｅｏｍｅｔｒｙ＿ｔｙｐｅとして定義され、'１'は矩形を表すものとする。矩形以外に、円形や星形等でもよい。座標は矩形の左上のＸ座標、Ｙ座標で表現される。
図６の上部に、アイテムＩＤ'３'から'９'の７個の領域注釈情報の領域について、領域の枠を表示画像上に重畳した例を示す。６０１から６０７までのそれぞれがアイテムＩＤ'３'から'９'に相当する。
Ｓ３０６において、メタデータ解析部２０２は、領域注釈情報の座標及び領域サイズから抽出した表示画像内における領域部分に対してＳ３０４で解析した深度を取得し、その中から代表深度を決定する。
代表深度の決定方法としては、例えば、領域部分の画像解析により、領域が示すオブジェクト（例えば、樹木、人間、建物、車等）を認識し、オブジェクトの画素部分について平均深度を取る方法がある。例として、オブジェクトの領域画素の平均深度を取得し、図表番号に対応するアイテムＩＤとｎａｍｅと深度を記録した深度表６０８を図６の下部に示す。深度は値が小さいほど領域が手前にあることを示し、値が大きい程領域が奥にあることを示す。
図６の例では、図表番号６０１は、アイテムＩＤが'３'、ｎａｍｅが「Ｔｒｅｅ」、深度が２３である。図表番号６０２は、アイテムＩＤが'４'、ｎａｍｅが「Ｍａｎ」、深度が１９８である。図表番号６０３は、アイテムＩＤが'５'、ｎａｍｅが「Ｍａｎ」、深度が４８である。図表番号６０４は、アイテムＩＤが'６'、ｎａｍｅが「Ｍａｎ」、深度が１０である。図表番号６０５は、アイテムＩＤが'７'、ｎａｍｅが「Ｂｕｉｌｄｉｎｇ」、深度が２０１である。図表番号６０６は、アイテムＩＤが'８'、ｎａｍｅが「Ｔｒｅｅ」、深度が１３８である。図表番号６０７は、アイテムＩＤが'９'、ｎａｍｅが「Ｃａｒ」、深度が１７３である。
その他の深度決定方法として、オブジェクトの画素部分の最頻深度、最小深度、最大深度、中心画素の深度等を採用する方法が挙げられる。または、オブジェクト認識をせずに領域注釈情報の領域内の全画素に対して平均深度、最頻深度、最小深度、最大深度、中心画素の深度を採用してもよい。
すなわち、領域内の任意の複数画素（例えばオブジェクトを構成する画素部分）に対する深度の平均値、最頻値、最小値又は最大値を、当該領域の深度として決定してもよい。また、領域内の全画素に対する深度の平均値、最頻値、最小値又は最大値を、当該領域の深度として決定したりしてもよい。あるいは、領域内の全画素又は領域内の任意の複数画素（例えばオブジェクトを構成する画素部分）の中心画素に対する深度を当該領域の深度として決定してもよい。中心画素は重心位置の画素としてもよい。
このようにして、メタデータ解析部２０２は、表示画像に対応する深度マップ画像を用いて深度マップ情報を解析し、深度マップ情報に基づいて表示画像に含まれる領域の深度を決定する。
以上で図３の一連の処理が終了する。
＜重畳処理＞
続いて、図７に、本実施形態に係る画像出力装置が実施する表示画像と領域注釈情報の重畳処理フローを示す。Ｓ７０１において、画像出力制御部２０３は、表示画像５０１を配置する。Ｓ７０２において、画像出力制御部２０３は、領域注釈情報を深度でソートする。図６下部に示した深度表６０８において、例えば降順にソートすると、アイテムＩＤ'７'（深度２０１）、'４'（深度１９８）、'９'（深度１７３）、'８'（深度１３８）、'５'（深度４８）、'３'（深度２３）、'６'（深度１０）の順となる。
Ｓ７０３乃至Ｓ７０５において、画像出力制御部２０３は、Ｓ７０２でソートした順に全領域注釈情報を処理する。深度は降順にソートしてあり、奥の領域注釈情報から処理していく場合の例で説明する。
Ｓ７０４において、画像出力制御部２０３は、領域注釈情報の領域の枠（例えば領域の被写体が人物である場合、人物を囲む矩形領域の枠）を重畳する。ここで、既に重畳済の別の領域があり、重畳済の別領域とこれから重畳する領域に重なる部分がある場合、これから重畳する領域内の重畳済の別領域の枠及び／又は注釈情報は消去する。後述する図８の例では、例えば領域枠８０１１の一部は、領域枠８０１４により消去されている。すなわち、図８のオブジェクトの領域枠８０１４及び／又は注釈情報８０４の表示範囲内には、より深度が大きいオブジェクトの領域枠８１１及び／又は注釈情報８０３を表示しない。このように、深度が小さい（手前の）領域の領域注釈情報の表示範囲内に、深度が大きい領域（奥側の領域）の領域注釈情報を表示しない。
なお、注釈情報については、重ならない部分に重畳し直してもよい。また、深度の大きさに応じて領域枠の太さを変えて重畳してもよい。例えば、深度が大きい奥の領域ほど領域枠が細く、深度が小さい手前の領域ほど領域枠が太くなるよう重畳する。更に、深度の大きさに応じて領域枠の色を変えてもよい。例えば、深度が大きい奥の領域ほど領域枠の色を薄く、深度が小さい手前の領域ほど領域枠の色が濃くなるように重畳する。このように領域枠の太さや表示濃さを変えて重畳することで、手前側にある情報を認識することが容易となる。
Ｓ７０５において、画像出力制御部２０３は、領域注釈情報の注釈情報（例えば、領域の特徴を説明する注釈文字列等）を重畳する。注釈情報は、図４において、ＩｔｅｍＰｒｏｐｅｒｔｙＡｓｓｏｃｉａｔｉｏｎ４０８内のアイテムＩＤ'３'から'９'に関連付けられるｐｒｏｐｅｒｔｙ＿ｉｎｄｅｘからＩｔｅｍＰｒｏｐｅｒｔｙＣｏｎｔａｉｎｅｒＢｏｘ４０７で定義されているアイテム属性を得る。
ここで、アイテム属性としてｐｒｏｐｅｒｔｙ＿ｉｎｄｅｘ'３'から'６'で定義されたプロパティタイプ'ｕｄｅｓ'はＵｓｅｒＤｅｓｃｒｉｐｔｉｏｎプロパティとして識別される。ｌａｎｇには言語情報が格納され、ｎａｍｅは関連付けられるアイテムの名前を人間が読める形式で記述する。また、これら以外にｄｅｓｃｒｉｐｔｉｏｎとしてアイテムの説明を人間が読める形式で記述してもよい。また、ｔａｇｓとしてアイテムに関連するユーザ定義のタグ情報をカンマ区切りで指定してもよい。
ここでは、ｐｒｏｐｅｒｔｙ＿ｉｎｄｅｘ'３'から'６'はそれぞれ言語情報として英語が指定され、アイテムの名前として'Ｍａｎ'、'Ｔｒｅｅ'、'Ｂｕｉｌｄｉｎｇ'、'Ｃａｒ'が定義されている。
図８に、表示画像と領域注釈情報を重畳した出力画像例を示す。図６に示した各領域（６０１から６０７）にそれぞれ関連付けられている注釈情報８０１から注釈情報８０７を重畳している。
領域６０１に対応する注釈情報８０１は、吹き出し形式で表示された文字列「Ｔｒｅｅ」である。領域６０２に対応する注釈情報８０２は、吹き出し形式で表示された文字列「Ｍａｎ」である。領域６０３に対応する注釈情報８０３は、吹き出し形式で表示された文字列「Ｍａｎ」である。領域６０４に対応する注釈情報８０４は、吹き出し形式で表示された文字列「Ｍａｎ」である。領域６０５に対応する注釈情報８０５は、吹き出し形式で表示された文字列「Ｂｕｉｌｄｉｎｇ」である。領域６０６に対応する注釈情報８０６は、吹き出し形式で表示された文字列「Ｔｒｅｅ」である。領域６０７に対応する注釈情報８０７は、吹き出し形式で表示された文字列「Ｃａｒ」である。
ここでは、注釈情報としてアイテム属性の中のｎａｍｅで定義されたアイテム名を出力しているが、ｄｅｓｃｒｉｐｔｉｏｎで定義されたアイテムの説明やｔａｇｓで定義されたタグ情報を出力してもよい。
また、ここでは注釈情報を吹き出しとして出力しているが、領域内の任意の場所に重畳してもよい。注釈情報についても深度に応じて重畳方法を変更する。例えば、注釈情報の吹き出しの枠の太さを深度に応じて変更する。図８では、例えば、領域の深度が小さい（手前側に位置する）注釈情報８０１、８０４の吹き出しの枠は太い枠であり、領域の深度が大きい（奥側に位置する）注釈情報８０２、８０５の吹き出しの枠は細い枠である。
また、深度が大きい奥の領域の注釈情報ほど注釈情報の文字サイズを小さくし、深度が小さい手前の領域の注釈情報ほど注釈情報の文字サイズを大きくする。すなわち、手前側の領域の注釈文字の大きさを奥側の領域の注釈文字の大きさよりも大きく表示する。
図８の例では、例えば、領域の深度が小さい（手前側に位置する）注釈情報８０１、８０４の文字サイズは大きく、領域の深度が大きい（奥側に位置する）注釈情報８０２、８０５の文字サイズは小さい。
枠と同様に文字の色も深度に応じて変更してもよい。例えば、手前側の領域の注釈文字の表示濃さを奥側の領域の注釈文字の表示濃さよりも大きく表示してもよい。すなわち、領域の深度が小さい（手前側に位置する）注釈情報ほど文字の色を濃くし、領域の深度が大きい（奥側に位置する）注釈情報ほど文字の色を薄くしてもよい。
以上で図７の一連の処理が終了する。
以上説明したように、本実施形態では、一つの表示画像に対して当該表示画像の各領域に関連付けられた複数の領域注釈情報を重畳して出力する際に、深度が小さい領域に対応する領域注釈情報を、深度が大きい領域に対応する領域注釈情報よりも前面に重畳する。
これにより、領域（例えばオブジェクトを囲む矩形領域）とその領域に対する注釈情報との対応関係を直感的に認識することが容易となる。
[変形例]
画像に複数の領域注釈情報を重畳する場合に、手前側の領域（深度が小さい領域）の領域注釈情報の明度を、奥側の領域（深度が大きい領域）の領域注釈情報の明度よりも高くして表示するように構成してもよい。また、領域注釈情報全体ではなく、オブジェクトを囲む矩形枠（領域情報）と注釈文字（注釈情報）との少なくとも一方の明度を、手前側の領域（深度が小さい領域）ほど高くするように構成してもよい。
同様に、画像に複数の領域注釈情報を重畳する場合に、手前側の領域（深度が小さい領域）の領域注釈情報の彩度を、奥側の領域（深度が大きい領域）の領域注釈情報の彩度よりも高くして表示するように構成してもよい。また、領域注釈情報全体ではなく、オブジェクトを囲む矩形枠（領域情報）と注釈文字（注釈情報）との少なくとも一方の彩度を、手前側の領域（深度が小さい領域）ほど高くするように構成してもよい。
［実施形態２］
実施形態２では、ＨＥＩＦファイルに格納された表示画像に対して、当該表示画像に関連付けられた領域注釈情報の中からユーザの指定に応じて選択された領域注釈情報を重畳して出力する例を説明する。
本実施形態におけるハードウェア構成については実施形態１で説明した図１と同様であるため説明は省略する。
＜機能構成＞
図１２は、本実施形態における画像出力装置１２００の機能構成の一例を示す図である。画像出力装置１２００は、画像ファイル入力部２０１、メタデータ解析部２０２、指定部１２０１、及び画像出力制御部２０３を備えている。画像出力装置１２００は、実施形態１に示した画像出力装置１００の構成に対して、さらに指定部１２０１を備えている。なお、実施形態１と同一の構成については同一の参照符号を付しており、詳細な説明は省略する。
指定部１２０１は、表示画像に関連付けられた領域注釈情報について重畳する領域注釈情報を指定する。指定部１２０１は、ユーザによるパラメータの指定に基づいて、出力して重畳する領域注釈情報の指定を受け付ける。ユーザが指定するパラメータとしては、例えば、深度情報、座標情報、アイテム属性としてのアイテム名やタグ情報等が挙げられる。それぞれのパラメータを指定した場合の表示画像と領域注釈情報との重畳例については後述する。
＜解析処理＞
本実施形態におけるメタデータ解析部２０２の処理フローは実施形態１で説明した図３と同様であるため説明は省略する。
＜重畳処理＞
図９は、本実施形態における画像出力装置１２００が実施する表示画像と領域注釈情報の重畳処理フローの一例を示す。ここでは、出力領域注釈情報指定として深度及び深度幅を指定する想定で説明する。
Ｓ９０１において、指定部１２０１は、指定出力範囲としてユーザが入力装置１０６で入力した深度及び深度幅を取得する。深度及び深度幅はキーボードやマウス、タッチパネル等の入力装置から入力ダイアログやスクロールバー等により指定される。
Ｓ９０２はＳ７０１、Ｓ９０３はＳ７０２、Ｓ９０４はＳ７０３とそれぞれ同様であるため説明は省略する。
Ｓ９０５において、画像出力制御部２０３は、処理中の領域注釈情報の深度が指定出力範囲内であるか判定し、指定出力範囲内であればＳ９０６の領域枠配置処理に進む。Ｓ９０６及びＳ９０７の各処理は、Ｓ７０４及びＳ７０５とそれぞれ同様であるため背ｔｙ名は省略する。一方、深度が指定出力範囲外であれば、処理中の領域注釈情報は重畳せずにスキップする。以上で図９の一連の処理が終了する。
ここで図１０は、ユーザがスクロールバーで深度及び深度幅を指定した場合の表示画像に領域注釈情報を重畳した出力画像例を示す。
出力画像１０００は、ユーザがマウスカーソル１００１でスクロールバー１００２を操作して深度を指定する場合の画像を示す。ここでは、深度幅は１０固定とし、スクロールバーの位置によって深度が決定される。補助ダイアログ１００３は、現在のスクロールバーの位置における深度の出力範囲を表示したものである。ここでの出力範囲は深度が１９５から２００の範囲となる。図６で示した領域注釈情報の深度表６０８に従って、深度範囲内に含まれるアイテムＩＤ'４'（ｎａｍｅ＝'Ｍａｎ'）とアイテムＩＤ'７'（ｎａｍｅ＝'Ｂｕｉｌｄｉｎｇ'）の領域注釈情報が重畳されている。
出力画像１００４は、ユーザがマウスカーソル１００１でスクロールバー１００２を出力画像１０００の状態から下方に操作した状態の画像を示す。ここで、補助ダイアログ１００５は、現在のスクロールバーの位置における深度の出力範囲を表示したものである。ここでの出力範囲は深度が１５から２５の範囲となり、図６で示した領域注釈情報の深度表６０８に従って、深度範囲内に含まれるアイテムＩＤ'３'（ｎａｍｅ＝'Ｔｒｅｅ'）の領域注釈情報が重畳されている。
また、ユーザが指定した深度に基づいて表示画像にフィルタ処理、例えばガウシアンフィルタをかけてもよい。その場合、領域注釈情報にも同じフィルタ処理をかけてもよい。すなわち、深度（及び／又は深度範囲）の指定に基づいて、当該深度に対応する領域及び注釈情報に対してフィルタ処理をかけて表示してもよい。
また、ユーザが領域注釈情報を指定するためのパラメータは、深度に限らない。例えば、領域注釈情報のアイテム名を抽出し、それをユーザが指定できるようにしてもよい。図１１は、領域注釈情報のアイテム名をチェックボックスで指定した場合において、表示画像に領域注釈情報を重畳した出力画像例を示す。ユーザは、マウスカーソル１１０１でチェックボックス１１０２から１１０５のうちの１つ以上にチェックを入れることで出力する領域注釈情報を指定することができる。各チェックボックスには領域注釈情報のアイテム名が併記されており、ここでは'Ｍａｎ'が併記されたチェックボックス１１０３がチェックされている。出力画像１１００は、チェックボックス１１０３がチェックされた場合の表示例であり、図６で示した領域注釈情報の深度表６０８に従い、アイテム名が'Ｍａｎ'のアイテムＩＤ'４'、'５'、'６'の領域注釈情報が重畳されている。また、チェックボックスではなくラジオボタンでもよいし、入力ダイアログを介してユーザが文字列により入力して指定できてもよい。また、アイテム名ではなくタグ名（ｔａｇｓ）でもよいし、説明文（ｄｅｓｃｒｉｐｔｉｏｎ）から文字列で検索し、ヒットした領域注釈情報を重畳してもよい。
その他、ユーザが座標情報を指定し、その座標情報の範囲内の領域注釈情報を重畳してもよい。座標情報はマウスやタッチパネルによるタップ等の操作で指定できてもよいし、入力ダイアログで入力できてもよい。
以上説明したように、本実施形態では、表示画像に対して、当該表示画像に関連付けられた領域注釈情報の中からユーザの指定に応じて選択された領域注釈情報を重畳して出力する。
例えば、深度及び／又は深度幅の指定、画像における座標情報の指定、注釈文字に含まれる文字列の指定、あるいはこれらの組み合わせに基づいて、表示すべき領域注釈情報の指定を受け付ける。
これにより、領域注釈情報の数が多い時でも、所望の種類の情報を表示させることができるため、ユーザの視認性を向上させることが可能となる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
１００：画像出力装置、２０１：画像ファイル入力部、２０２：メタデータ解析部、２０３：画像出力制御部、５０１：表示画像、５０２：深度マップ画像、６０１－６０７：領域注釈情報の領域枠、６０８：深度表、８０１－８０７：領域注釈情報の注釈情報、１０００，１００４，１１００：出力画像

Claims (21)

  1. 画像に含まれる所定の領域に関する注釈情報と、前記注釈情報に対応する深度に関する深度情報とを含むファイルを取得する取得手段と、
    前記取得手段により取得された前記ファイルに含まれている前記深度情報に基づいて、前記注釈情報に対応する深度を決定する決定手段と、
    前記ファイルに含まれている前記注釈情報を、前記決定手段により決定された深度に基づいて表示するように制御する表示制御手段と、を備え、
    前記ファイルが第１の注釈情報と第２の注釈情報を含む場合、前記決定手段は前記深度情報に基づいて、前記第１の注釈情報に対応する第１の深度と、前記第２の注釈情報に対応する第２の深度とを決定し、
    前記表示制御手段は、前記第１の深度よりも前記第２の深度の深度が大きい場合、前記第１の注釈情報を前記第２の注釈情報よりも手前側に表示するように制御することを特徴とする表示制御装置。
  2. 前記ファイルは、前記深度情報を含むメディアデータ領域と、前記深度情報の識別情報を含むメタデータ領域とを含み、
    前記決定手段は、前記メタデータ領域に含まれている前記識別情報に基づいて前記メディアデータ領域から前記深度情報を取得することを特徴とする請求項１に記載の表示制御装置。
  3. 前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）に準拠したファイルであることを特徴とする請求項２に記載の表示制御装置。
  4. 前記識別情報は、前記深度情報のアイテムＩＤであることを特徴とする請求項３に記載の表示制御装置。
  5. 前記第１の注釈情報を特定するための第１の情報と、前記第２の注釈情報を特定するための第２の情報とが前記メタデータ領域に含まれ、
    前記決定手段は、前記第１の情報と前記第２の情報に基づいて、前記第１の深度と前記第２の深度を決定することを特徴とする請求項２乃至４の何れか１項に記載の表示制御装置。
  6. 前記決定手段は、前記画像における前記所定の領域の深度を決定することで、当該所定の領域に対応する前記注釈情報に対応する深度を決定することを特徴とする請求項１乃至５の何れか１項に記載の表示制御装置。
  7. 前記画像に対応する画像データが前記ファイルに含まれていることを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
  8. 前記深度情報は、前記画像に対応する深度マップ画像であり、
    前記決定手段は、前記深度マップ画像を用いて前記画像に含まれる領域の深度を決定することで、前記注釈情報に対応する深度を決定することを特徴とする請求項７に記載の表示制御装置。
  9. 前記画像データから前記深度マップ画像を生成する生成手段をさらに備え、
    前記決定手段は、前記生成手段により生成された前記深度マップ画像を用いて前記画像に含まれる領域の深度を決定することを特徴とする請求項８に記載の表示制御装置。
  10. 前記表示制御手段は、前記第１の注釈情報と前記第２の注釈情報が前記画像に重畳して表示されるように制御することを特徴とする請求項１乃至９の何れか１項に記載の表示制御装置。
  11. 前記表示制御手段は、前記第１の注釈情報の表示範囲内に、前記第２の注釈情報が表示されないように制御することを特徴とする請求項１乃至１０の何れか１項に記載の表示制御装置。
  12. 前記表示制御手段は、前記第１の注釈情報の表示の濃さが、前記第２の注釈情報の表示の濃さよりも濃くなるように制御することを特徴とする請求項１乃至１１の何れか１項に記載の表示制御装置。
  13. 前記注釈情報は、領域に関する注釈を表記する注釈文字を含み、
    前記表示制御手段は、前記第１の注釈情報に含まれる注釈文字の大きさが、前記第２の注釈情報に含まれる注釈文字の大きさよりも大きくなるように制御することを特徴とする請求項１乃至１２の何れか１項に記載の表示制御装置。
  14. 前記注釈情報は、領域に関する注釈を表記する注釈文字を含み、
    前記表示制御手段は、前記第１の注釈情報に含まれる注釈文字の表示の濃さが、前記第１の注釈情報に含まれる注釈文字の表示の濃さよりも濃くなるように制御することを特徴とする請求項１乃至１３の何れか１項に記載の表示制御装置。
  15. 前記表示制御手段は、前記第１の注釈情報の明度が、前記第２の注釈情報の明度よりも高くなるように制御することを特徴とする請求項１乃至１４の何れか１項に記載の表示制御装置。
  16. 前記表示制御手段は、前記第１の注釈情報の彩度が、前記第２の注釈情報の彩度よりも高くなるように制御することを特徴とする請求項１乃至１５の何れか１項に記載の表示制御装置。
  17. 注釈情報の指定を受け付ける指定手段をさらに備え、
    前記表示制御手段は、前記指定手段により指定された注釈情報を表示するように制御することを特徴とする請求項１乃至１６の何れか１項に記載の表示制御装置。
  18. 前記指定手段は、深度及び深度幅の指定に基づいて、表示対象の注釈情報の指定を受け付けることを特徴とする請求項１７に記載の表示制御装置。
  19. 前記表示制御手段は、深度の指定に基づいて、当該深度に対応する注釈情報に対してフィルタ処理をかけて表示することを特徴とする請求項１８に記載の表示制御装置。
  20. 画像に含まれる所定の領域に関する注釈情報と、前記注釈情報に対応する深度に関する深度情報とを含むファイルを取得する取得工程と、
    前記取得工程により取得された前記ファイルに含まれている前記深度情報に基づいて、前記注釈情報に対応する深度を決定する決定工程と、
    前記ファイルに含まれている前記注釈情報を、前記決定工程により決定された深度に基づいて表示するように制御する表示制御工程と、を有し、
    前記ファイルが第１の注釈情報と第２の注釈情報を含む場合、前記決定工程では、前記深度情報に基づいて、前記第１の注釈情報に対応する第１の深度と、前記第２の注釈情報に対応する第２の深度とを決定し、
    前記表示制御工程では、前記第１の深度よりも前記第２の深度の深度が大きい場合、前記第１の注釈情報を前記第２の注釈情報よりも手前側に表示するように制御することを特徴とする表示制御方法。
  21. コンピュータを、請求項１乃至１９の何れか１項に記載の表示制御装置として機能させるためのプログラム。
JP2021159721A 2021-09-29 2021-09-29 表示制御装置、表示制御方法、及びプログラム Active JP7780286B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021159721A JP7780286B2 (ja) 2021-09-29 2021-09-29 表示制御装置、表示制御方法、及びプログラム
US17/935,850 US12555395B2 (en) 2021-09-29 2022-09-27 Image output apparatus, method for controlling image output apparatus, and storage medium
JP2025201035A JP2026015573A (ja) 2021-09-29 2025-11-20 表示制御装置、表示制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021159721A JP7780286B2 (ja) 2021-09-29 2021-09-29 表示制御装置、表示制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025201035A Division JP2026015573A (ja) 2021-09-29 2025-11-20 表示制御装置、表示制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2023049773A JP2023049773A (ja) 2023-04-10
JP2023049773A5 JP2023049773A5 (ja) 2024-09-04
JP7780286B2 true JP7780286B2 (ja) 2025-12-04

Family

ID=85797745

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021159721A Active JP7780286B2 (ja) 2021-09-29 2021-09-29 表示制御装置、表示制御方法、及びプログラム
JP2025201035A Pending JP2026015573A (ja) 2021-09-29 2025-11-20 表示制御装置、表示制御方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025201035A Pending JP2026015573A (ja) 2021-09-29 2025-11-20 表示制御装置、表示制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US12555395B2 (ja)
JP (2) JP7780286B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240262386A1 (en) * 2023-02-02 2024-08-08 Motional Ad Llc Iterative depth estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293239A (ja) 2004-03-31 2005-10-20 Fujitsu Ltd 情報共有装置及び情報共有方法
JP2017211936A (ja) 2016-05-27 2017-11-30 キヤノン株式会社 文書保存処理システム
JP2021082955A (ja) 2019-11-20 2021-05-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2021118492A (ja) 2020-01-29 2021-08-10 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233739B1 (en) * 2008-08-29 2012-07-31 Adobe Systems Incorporated Patch jittering for visual artifact correction
US8818175B2 (en) * 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
JP5822613B2 (ja) 2011-09-12 2015-11-24 キヤノン株式会社 画像処理装置および画像処理方法
KR102232250B1 (ko) * 2012-11-27 2021-03-25 인텔렉추얼디스커버리 주식회사 깊이 정보를 이용한 영상 부보화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
US9251613B2 (en) * 2013-10-28 2016-02-02 Cyberlink Corp. Systems and methods for automatically applying effects based on media content characteristics
JP6525611B2 (ja) * 2015-01-29 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
US10158840B2 (en) * 2015-06-19 2018-12-18 Amazon Technologies, Inc. Steganographic depth images
US10346996B2 (en) * 2015-08-21 2019-07-09 Adobe Inc. Image depth inference from semantic labels
CN109643468B (zh) * 2016-08-19 2023-10-20 索尼公司 图像处理装置和图像处理方法
EP3687863A4 (en) * 2017-09-29 2020-12-02 Netradyne, Inc. MULTIPLE EXPOSURE EVENT DETERMINATION
US11170224B2 (en) * 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
US11423615B1 (en) * 2018-05-29 2022-08-23 HL Acquisition, Inc. Techniques for producing three-dimensional models from one or more two-dimensional images
CN109035319B (zh) * 2018-07-27 2021-04-30 深圳市商汤科技有限公司 单目图像深度估计方法及装置、设备、程序及存储介质
BR112021014272A2 (pt) * 2019-02-28 2021-09-28 Panasonic Intellectual Property Corporation Of America Método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais e dispositivo de decodificação de dados tridimensionais
US11631234B2 (en) * 2019-07-22 2023-04-18 Adobe, Inc. Automatically detecting user-requested objects in images
KR102646344B1 (ko) * 2019-09-06 2024-03-12 삼성전자주식회사 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법
JP2021099698A (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
US11282601B2 (en) * 2020-04-06 2022-03-22 International Business Machines Corporation Automatic bounding region annotation for localization of abnormalities
CN111523409B (zh) * 2020-04-09 2023-08-29 北京百度网讯科技有限公司 用于生成位置信息的方法和装置
US12062176B2 (en) * 2020-11-02 2024-08-13 Adobe Inc. Generating change comparisons during editing of digital images
US11776129B2 (en) * 2020-12-16 2023-10-03 Qualcomm Incorporated Semantic refinement of image regions
US11727576B2 (en) * 2020-12-18 2023-08-15 Qualcomm Incorporated Object segmentation and feature tracking
US12333730B2 (en) * 2021-09-17 2025-06-17 Samsung Electronics Co., Ltd. Method and apparatus for scene segmentation for three-dimensional scene reconstruction
US11941884B2 (en) * 2021-11-12 2024-03-26 Adobe Inc. Multi-source panoptic feature pyramid network
US12020475B2 (en) * 2022-02-21 2024-06-25 Ford Global Technologies, Llc Neural network training

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293239A (ja) 2004-03-31 2005-10-20 Fujitsu Ltd 情報共有装置及び情報共有方法
JP2017211936A (ja) 2016-05-27 2017-11-30 キヤノン株式会社 文書保存処理システム
JP2021082955A (ja) 2019-11-20 2021-05-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2021118492A (ja) 2020-01-29 2021-08-10 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2026015573A (ja) 2026-01-29
US12555395B2 (en) 2026-02-17
JP2023049773A (ja) 2023-04-10
US20230112366A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
JP5274305B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP4583218B2 (ja) 対象コンテンツを評価する方法、コンピュータ・プログラム、システム
US20130326341A1 (en) Digital comic editor, method and non-transitorycomputer-readable medium
US8952985B2 (en) Digital comic editor, method and non-transitory computer-readable medium
CN101213576B (zh) 影集制作装置及方法
CN111832476B (zh) 版面分析方法、阅读辅助设备、电路和介质
US8965125B2 (en) Image processing device, method and storage medium for storing and displaying an electronic document
JP2009237702A (ja) アルバム作成方法、プログラムおよび装置
JP2000115476A (ja) 走査画像の領域を操作するためのシステム及び方法
JP2026015573A (ja) 表示制御装置、表示制御方法、及びプログラム
EA000271B1 (ru) Способ и устройство для обработки таблицы
JP2021530021A (ja) 拡張現実オーバーレイのためのシステムおよび方法
JP2014120075A (ja) 画像表示装置、画像表示装置の制御方法およびコンピュータプログラム
JP5953285B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010074292A (ja) 画像処理装置、画像表示システム、及びプログラム
CN112927314B (zh) 一种图像数据处理方法、装置以及计算机设备
JP5446877B2 (ja) 目次構造特定装置
CN116703797A (zh) 图像融合方法、图像融合系统、计算机设备及存储介质
JP4828481B2 (ja) 表示制御装置、方法、プログラムおよび記録媒体
JP6731011B2 (ja) 電子図書の表示用データの作成装置
CN117557463A (zh) 图像生成方法、装置、电子设备和存储介质
WO2014083878A1 (ja) 情報処理装置及びプログラム
WO2014042051A1 (ja) コンテンツ作成装置、方法およびプログラム
CN115914675A (zh) 一种视频合成方法、装置、计算机设备及存储介质
US10853000B2 (en) Image processing apparatus and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251121

R150 Certificate of patent or registration of utility model

Ref document number: 7780286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150