JP7473012B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7473012B2
JP7473012B2 JP2022567993A JP2022567993A JP7473012B2 JP 7473012 B2 JP7473012 B2 JP 7473012B2 JP 2022567993 A JP2022567993 A JP 2022567993A JP 2022567993 A JP2022567993 A JP 2022567993A JP 7473012 B2 JP7473012 B2 JP 7473012B2
Authority
JP
Japan
Prior art keywords
visibility
dimensional
model
skeletal model
dimensional screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022567993A
Other languages
English (en)
Other versions
JPWO2022123752A5 (ja
JPWO2022123752A1 (ja
Inventor
賢太 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022123752A1 publication Critical patent/JPWO2022123752A1/ja
Publication of JPWO2022123752A5 publication Critical patent/JPWO2022123752A5/ja
Application granted granted Critical
Publication of JP7473012B2 publication Critical patent/JP7473012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
従来、撮像装置で撮像された人物の姿勢を２次元又は３次元空間上で可視化する手法として、骨格モデルを用いる手法が提案されている。骨格モデルは、人体の骨格を単純化して表現したモデルである。骨格モデルは、画像内で人体の頭、肩、関節等の基幹骨格が検出され、その検出された点同士を線で結んで生成される。特許文献１には、この骨格モデルを用いて、画像に写っている人物の姿勢を推定する装置が開示されている。
特許文献１では、骨格モデルを用いた姿勢の推定をコンピュータで行っている。一方で、生成された骨格モデルをディスプレイに表示して、観察者が、表示された骨格モデルを視認して、撮像された人物の姿勢を骨格モデルから判断することもある。
国際公開第２０１２／０４６３９２号
しかしながら、骨格モデルのみがディスプレイに表示されている場合、骨格モデルは線で表されるため、状況によっては、観察者は骨格モデルを直観的に判別することが難しいことがある。例えば、複数人が撮像された結果、複数の骨格モデルが重なって表示された場合、観察者にとって、重なった骨格モデルから骨格モデルを一つずつ判別することが難しくなる。また、撮像された人物が腕を組んでいるなど、一つの骨格モデルにおいて重なりが生じている場合も、観察者にとって、骨格モデルの姿勢を判別することが難しくなる。
本発明の目的の一例は、２次元画面内の人物の姿勢を表現する骨格モデルを、観察者に直観的に認知させる、画像処理装置、画像処理方法、及び、それを実現するためのプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における画像処理装置は、
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出する、視認容易度算出部と、
前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加する、視覚的特徴付加部と、
を備える、ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における画像処理方法は、
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出する、ステップと、
前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加する、ステップと
を備えることを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出する、ステップと、
前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加する、ステップと、
を実行させる、ことを特徴とする。
以上のように本発明によれば、２次元画面内の人物の姿勢を表現する骨格モデルを、観察者に直観的に認知させることができる。
図１は、実施の形態における画像処理装置の概略構成を示す構成図である。 図２は、骨格モデルに付加する視覚的特徴を説明するための図である。 図３は、骨格モデルに付加する視覚的特徴を説明するための図である。 図４は、骨格モデルに付加する視覚的特徴を説明するための図である。 図５は、視覚的特徴の別の例を示す図である。 図６は、視覚的特徴の別の例を示す図である。 図７は、視覚的特徴の別の例を示す図である。 図８は、実施の形態の画像処理装置を備える３次元可視化装置の構成を示す構成図である。 図９は、投影方向を設定した仮想空間を示す図である。 図１０は、図９において、方向Ｄ１に投影した場合の２次元画面を示す図である。 図１１は、図９において、方向Ｄ２に投影した場合の２次元画面を示す図である。 図１２は、図９において、方向Ｄ３に投影した場合の２次元画面を示す図である。 図１３は、実施の形態における画像処理装置を含む３次元可視化装置の動作を示すフロー図である。 図１４は、実施の形態における画像処理装置を含む３次元可視化装置の動作を示すフロー図である。 図１５は、投影方向を変更する前後の表示装置の表示画面を示す図である。 図１６は、２次元画面上に、領域を指定する例を説明するための図である。 図１７は、表示領域を変更する前後の表示装置の表示画面を示す図である。 図１８は、３次元スケルトン情報に、拡大率を指定した例を説明するための図である。 図１９は、拡大率を変更する前後の表示装置の表示画面を示す図である。 図２０は、実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
以下、本発明の実施の形態における画像処理装置について、図面を参照しながら説明する。
［装置構成］
最初に、実施の形態における画像処理装置の概略構成について図１を用いて説明する。図１は、本実施の形態における画像処理装置の概略構成を示す構成図である。
図１に示すように、画像処理装置１は、視認容易度算出部２と、視覚的特徴付加部３とを備えている。
視認容易度算出部２は、人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された人物の骨格モデルについて、視認容易度を算出する。視認容易度は、３次元の骨格モデルを２次元画面上に投影した場合における２次元画面上での骨格モデルの視認の容易性を示す値である。視認容易度の算出方法については、後述する。
視覚的特徴付加部３は、視認容易度に応じて、骨格モデルに、視覚的特徴を付加する。
ここで、視覚的特徴付加部３が骨格モデルに付加する視覚的特徴について説明する。図２、図３及び図４は、骨格モデルに付加する視覚的特徴を説明するための図である。
視覚的特徴とは例えば色彩、線の太さ、線の種類、透過度を指し、本実施の形態では、視覚的特徴を色彩として説明する。図２～図４は、３次元の骨格モデルを２次元画面に投影した場合における２次元画面上での骨格モデルを示す。また、図２～図４において、図中左は視覚的特徴を付加していない骨格モデルを示し、図中右は視覚的特徴を付加した骨格モデルを示す。さらに、図２～図４において、実線と破線とは、色彩が異なることを意味している。骨格モデルは、図に示すように、人物の関節に相当する関節点と、その関節点間を結ぶリンクとを有している。
２次元画面上の骨格モデルに重なりがある場合に、その２次元画面を表示装置に表示すると、観察者にとって、骨格モデルの姿勢を直観的に判別することが難しいことがある。そこで、視覚的特徴付加部３は、骨格モデルに色彩を付加する。例えば、図２は、腕組みをした人物の骨格モデルを示す。この場合、視覚的特徴付加部３は、左半身の関節点及びリンクと、右半身の関節点及びリンクとで、異なる色彩を付加する。これにより、観察者にとって、腕の重なりを直観的に認知できるようなり、骨格モデルの姿勢が判別しやすくなる。
図３は、上げた脚と手とが重なり合った人物の骨格モデルを示す。この場合、視覚的特徴付加部３は、下半身の関節点及びリンクと、上半身の関節点及びリンクとで、異なる色彩を付加する。これにより、観察者にとって、脚と手との重なりを直観的に認知できるようになり、その骨格モデルの姿勢が判別しやすくなる。
図４は、２つの骨格モデルが重なっている状態を示す。この場合、視覚的特徴付加部３は、一の骨格モデルの全関節点及び全リンクと、他の骨格モデルの全関節点及び全リンクとで、異なる色彩を付加する。これにより、観察者にとって、２つの骨格モデル同士の重なりを直観的に認知できるようになり、２つの骨格モデルそれぞれの姿勢を判別しやすくなる。
このように、画像処理装置１は、３次元の骨格モデルを投影した２次元画面を表示した場合に、観察者が、その２次元画面上での骨格モデルの姿勢を直観的に認知可能なように、３次元の骨格モデルに色彩を付加する。この画像処理装置１によれば、２次元画面内の人物の姿勢を表現する骨格モデルを、観察者に直観的に認知させることができる。
なお、視覚的特徴を付加する別の例として、視覚的特徴付加部３は、骨格モデルの線の太さを変えてもよいし、線の透明度を変えてもよい。また、視覚的特徴付加部３は、骨格モデルの線を二重線にしてもよいし、点線にしてもよい。さらに、視覚的特徴付加部３は、骨格モデルの間接点のみ、又は、リンクのみに、視覚的特徴を付加するようにしてもよい。
図５、図６、及び図７は、視覚的特徴の別の例を示す図である。図５、図６、及び図７は、図２と同様、腕組みをした人物の骨格モデルを示す。
例えば、図５に示すように、視覚的特徴付加部３は、骨格モデルの間接点のみ視覚的特徴を付加するようにしてもよい。図５の例では、視覚的特徴付加部３は、左半身の関節点と、右半身の関節点とを、異なる形状で表している。詳しくは、視覚的特徴付加部３は、左半身の関節点を丸形状で表し、右半身の関節点を星形状で表している。
また、図６及び図７に示すように、視覚的特徴付加部３は、骨格モデルのリンクのみ視覚的特徴を付加するようにしてもよい。図６の例では、視覚的特徴付加部３は、右半身のリンクと、左半身のリンクとを、異なる太さで表している。詳しくは、視覚的特徴付加部３は、右半身のリンクを、左半身のリンクよりも太い線種で表している。図７の例では、視覚的特徴付加部３は、右半身のリンクと左半身とのリンクとを、異なる線種で表している。詳しくは、視覚的特徴付加部３は、右半身のリンクを破線で表し、左半身のリンクを二重線で表している。
続いて、図８～図１５を用いて、本実施の形態における画像処理装置１の構成及び機能について具体的に説明する。以下では、画像処理装置１を備えた、３次元可視化装置を例に挙げて説明する。図８は、本実施の形態の画像処理装置１を備える３次元可視化装置１０の構成を示す構成図である。
３次元可視化装置１０には、表示装置２０が接続される。表示装置２０には、仮想空間上に構築された３次元の骨格モデルを２次元画面に投影した場合における、２次元画面が表示される。
３次元可視化装置１０は、画像処理装置１と、３次元スケルトン情報生成部１１、投影方向設定部１２及び操作受付部１３とを備える。なお、３次元スケルトン情報生成部１１、投影方向設定部１２及び操作受付部１３は、画像処理装置１が備えていてもよい。
３次元スケルトン情報生成部１１は３次元スケルトン情報を生成する。３次元スケルトン情報は、撮像装置で撮像された人物の関節を、３次元の仮想空間上で特定するための情報である。撮像装置は、例えば、ＣＣＤセンサ、又はＣＭＯＳセンサなどの撮像素子を有したカメラである。３次元スケルトン情報生成部１１は、撮像装置で撮像された人物の２次元画像から、３次元スケルトン情報を生成する。以下、３次元スケルトン情報を生成する方法について説明する。
３次元スケルトン情報生成部１１は、撮像装置で撮像された人物の２次元画像から、その２次元画像の座標系で記述された２次元骨格情報を生成する。２次元骨格情報は、２次元画像の座標系における人物の関節位置の情報である。次に、３次元スケルトン情報生成部１１は、２次元骨格情報を、骨格モデル座標系で記述された骨格モデル記述情報に変換する。骨格モデル座標系は、２次元骨格情報の骨格モデルに存在する関節の一つを原点とし、又は、関節を繋いだ直線上の一点を原点とし、２つの関節を通る直線に平行で原点を通る軸をＸ軸、そのＸ軸に直交する直線をＹ軸とする座標系である。
３次元スケルトン情報生成部１１は、骨格モデル記述情報に変換する際、関節長と、関節角度とを算出する。
関節長とは、関節点と関節点とを繋ぐ直線の長さである。３次元スケルトン情報生成部１１は、例えば肩ライン（右肩と左肩とを繋ぐ線分）の長さを１とし、他の関節長を、肩ラインに対する比率で求める。
関節角度は、互いに隣接する、関節点と関節点とを繋ぐ線分がなす角度である。例えば、右肩と右ひじとを繋ぐ線分の角度は、右肩と左肩とを繋ぐ線分と、右肩と右ひじとを繋ぐ線分とのなす角度で表される。
このようにして、３次元スケルトン情報生成部１１は、２次元骨格情報を、骨格モデル記述情報に変換する。
また、不図示の記憶部には、予め、例えばモーションキャプチャによって取得された３次元の骨格モデルと、その３次元の骨格モデルから生成された２次元の骨格モデルとが格納されている。この２次元の骨格モデルは、骨格モデル座標系で記述された骨格モデル記述情報である。３次元スケルトン情報生成部１１は、生成した骨格モデル記述情報と、記憶部に格納される２次元の骨格モデルとの類似度に基づいて、２次元の骨格モデルのうちいずれかを、撮像装置で撮像した人物の姿勢に対応する２次元の骨格モデルとして選択する。そして、３次元スケルトン情報生成部１１は、選択した２次元の骨格モデルに対応する３次元の骨格モデルの情報を、３次元スケルトン情報として、取得する。３次元スケルトン情報生成部１１は、上記の処理を行うことで、３次元スケルトン情報を生成する。
なお、３次元スケルトン情報を生成する方法は、これに限定されない。例えば、３次元スケルトン情報生成部１１は、撮像装置で撮像した人物の２次元画像を入力として、画像中の関節位置と、関節位置のカメラからの奥行とを直接推定（ディープラーニング）することで３次元スケルトン情報を生成してもよい。また、人物を撮像する撮像装置を、深度センサを用いた撮像装置として、３次元スケルトン情報生成部１１は、その撮像装置による撮像結果から３次元スケルトン情報を生成してもよい。
投影方向設定部１２は、３次元スケルトン情報生成部１１が生成した、３次元スケルトン情報を用いて仮想空間上に構築した３次元の骨格モデルを２次元画面上に投影する際の投影方向を設定する。図９は、投影方向を設定した仮想空間を示す図である。投影方向は、図９に示すように、それぞれが異なる方向であれば、特に限定されない。図１０は、図９において、方向Ｄ１に投影した場合の２次元画面を示す図である。図１１は、図９において、方向Ｄ２に投影した場合の２次元画面を示す図である。図１２は、図９において、方向Ｄ３に投影した場合の２次元画面を示す図である。また、投影方向設定部１２が設定する投影方向の数は１つであってもよいし、２つであってもよいし、４つ以上であってもよい。
操作受付部１３は、観察者による操作を受け付ける。詳しくは、操作受付部１３は、仮想空間上に設定された投影方向の中から観察者が選択する操作を受け付ける。投影方向設定部１２は、操作受付部１３が受け付けた選択操作に基づいて、設定した投影方向のなかから選択する。また、操作受付部１３は、設定した投影方向の変更を受け付ける。つまり、操作受付部１３は、投影方向を変更する変更手段である。
画像処理装置１は、視認容易度算出部２、視覚的特徴付加部３、及び表示部４を備えている。
視認容易度算出部２は、３次元の骨格モデルを２次元画面上に投影した場合に、その２次元画面上での骨格モデルの視認容易度を算出する。視認容易度は、上記したように、２次元画面上での骨格モデルの視認の容易性を示す値である。視認容易度算出部２は、投影方向設定部１２により選択された方向に投影した２次元画面上での骨格モデルの視認容易度を算出する。例えば、視認容易度算出部２は、図９において、投影方向に方向Ｄ１が選択された場合、図１０に示す２次元画面上の骨格モデルの視認容易度を算出する。また、視認容易度算出部２は、投影方向に方向Ｄ２が選択された場合、図１１に示す２次元画面上の骨格モデルの視認容易度を算出する。また、視認容易度算出部２は、投影方向に方向Ｄ３が選択された場合、図１２に示す２次元画面上の骨格モデルの視認容易度を算出する。なお、視認容易度算出部２は、選択されていない方向に投影した２次元画面上の骨格モデルの視認容易度も算出するようにしてもよい。
以下に、３通りの視認容易度の算出方法について説明する。
（視認容易度の算出方法１）
視認容易度算出部２は、２次元画面内の鉛直方向（ｙ軸座標）での全ての関節点の分散値を求める。また、視認容易度算出部２は、２次元画面内の水平方向（ｘ軸座標）での全ての関節点の分散値を求める。２次元画面内において、各関節点それぞれの座標を（ｘｉ、ｙｉ）（ｉ＝１、２、…Ｎ，Ｎ：関節点数）で表す。ｘ方向の分散値は、以下の式（１）で算出される。また、ｙ方向の分散値は、以下の式（２）で算出される。
Figure 0007473012000001
視認容易度算出部２は、ｘ方向において求めた分散値σｘ ２と、ｙ方向において求めた分散値σｙ ２とに基づいて視認容易度を算出する。例えば、視認容易度算出部２は、分散値σｘ ２又は分散値σｙ ２の小さい方を視認容易度とする。または、視認容易度算出部２は、分散値σｘ ２及び分散値σｙ ２の平均値を視認容易度とする。
（視認容易度の算出方法２）
視認容易度算出部２は、２次元画面上でリンク同士が交差している回数を算出する。例えば、視認容易度算出部２は、２次元画面上での座標系において、リンクの直線式を算出し、交点を算出することで、リンク同士が交差している回数を算出する。又は、視認容易度算出部２は、２次元画面上においてコーナー検出処理を行うことで、リンク同士が交差している回数を算出する。そして、視認容易度算出部２は、算出した回数に基づき視認容易度を算出する。例えば、視認容易度算出部２は、１／回数、を視認容易度とする。
（視認容易度の算出方法３）
視認容易度算出部２は、訓練データを用いて機械学習を行って構築された、骨格モデルと視認容易度との関係を示すモデルに、２次元画面上に投影した骨格モデルを適用することによって、視認容易度を算出する。機械学習の手法としては、ディープラーニングが挙げられる。訓練データとしては、３次元の骨格モデルを２次元画面上に投影して得られる情報と、その情報に対応する視認容易度を示すラベル（正解ラベル）とが挙げられる。骨格モデルを２次元画面上に投影して得られる情報は、例えば、２次元画面上に投影された骨格モデルの関節点の座標である。
機械学習によるモデルの構築方法は、まず、訓練データに含まれる、骨格モデルを２次元画面上に投影して得られる情報を、そのモデルに入力し、出力結果を取得する。そして、訓練データとして、取得した出力結果と、入力した情報と、上記算出方法１、２を用いて設定した正解ラベルと、を用いて、機械学習を行って、骨格モデルと視認容易度との関係を示すモデルを生成する。
視認容易度算出部２は、構築されたモデルに、２次元画面上の関節点の座標を入力して、その出力結果である視認容易度を取得する。
なお、視認容易度算出部２は、全骨格モデルについての視認容易度を算出することもあるし、骨格モデルの一部についての視認容易度を算出することもある。骨格モデルの一部についての視認容易度とは、例えば、一の骨格モデルの上半身、下半身、右半身、又は左半身などについての視認容易度である。
視覚的特徴付加部３は、視認容易度算出部２が算出した視認容易度に応じて、３次元の骨格モデルに、視覚的特徴を付加する。視覚的特徴は、図２～図７で説明したように、関節点及びリンクに付加する色彩である。視覚的特徴付加部３は、例えば、一の骨格モデルにおける上半身と下半身とで、異なる色彩を関節点及びリンクに付加する。この３次元の骨格モデルを投影した２次元画面を表示装置２０に表示する場合、図３の右側に示す骨格モデルが表示される。また、視覚的特徴付加部３は、例えば、一の骨格モデルと、他の骨格モデルとで、異なる色彩を関節点及びリンクに付加する。この３次元の骨格モデルを投影した２次元画面を表示装置２０に表示する場合、図４の右側に示す骨格モデルが表示される。なお、視覚的特徴付加部３は、例えば、右腕のみ、又は右足のみなど、一部の部位の関節点及びリンクを、他の関節点及びリンクと異なる色彩を付加するようにしてもよい。視覚的特徴付加部３が視覚的特徴を付加するルールについては、後に詳述する。
本実施の形態では、視覚的特徴付加部３は、３次元の骨格モデルに視覚的特徴を付加しているが、２次元画面に投影した骨格モデルに対して視覚的特徴を付加するようにしてもよい。また、視覚的特徴を付加する別の例として、図５～図７などで説明したように、視覚的特徴付加部３は、骨格モデルの線の太さを変えてもよいし、線の透明度、線の種類を変えてもよい。さらに、視覚的特徴付加部３は、骨格モデルの関節点のみ、又は、リンクのみに視覚的特徴を付加するようにしてもよい。
表示部４は、視覚的特徴を付加された３次元の骨格モデルが投影された、２次元画面を表示装置２０へ表示する。
［装置動作］
次に、実施の形態における画像処理装置の動作について図１３及び図１４を用いて説明する。図１３及び図１４は、本実施の形態における画像処理装置１を含む３次元可視化装置１０の動作を示すフロー図である。以下の説明においては、適宜図１～図１２を参照する。また、実施の形態では、画像処理装置１を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１の動作説明に代える。
３次元スケルトン情報生成部１１は、３次元スケルトン情報を生成する（Ｓ１）。３次元スケルトン情報生成部１１は、上記のように、撮像装置で撮像された人物の２次元画像から、３次元スケルトン情報を生成する。次に、投影方向設定部１２は、３次元の骨格モデルを２次元画面上に投影する際の投影方向を設定し、設定した投影方向のなかから観察者に選択された投影方向を選択する（Ｓ２）。
画像処理装置１の視認容易度算出部２は、３次元スケルトン情報を用いて仮想空間上に構築された３次元の骨格モデルについて、選択された投影方向に投影した２次元画面上での視認容易度を算出する（Ｓ３）。Ｓ３では、視認容易度算出部２は、２次元画面内の全骨格モデルについて視認容易度を算出する。
視覚的特徴付加部３は、Ｓ３で算出された視認容易度が閾値を超えているか否かを判定する（Ｓ４）。閾値は、２次元画面を表示装置２０に表示した際に、観察者が、２次元画面内の骨格モデルの姿勢が視認し易いかを決めるための基準値である。閾値は、予め設定された値であり、例えば経験則によって設定される。Ｓ４では、視認容易度が上記した分散値である場合、視覚的特徴付加部３は、その分散値が閾値を超えているかを判定する。また、Ｓ４では、視認容易度がリンクの交差回数である場合、視覚的特徴付加部３は、１／回数が閾値を超えているかを判定する。
視認容易度が閾値を超えている場合（Ｓ４：ＹＥＳ）、視覚的特徴付加部３は、２次元画面に骨格モデルが複数含まれているかを判定する（Ｓ５）。骨格モデルが複数含まれている場合（Ｓ５：ＹＥＳ）、視覚的特徴付加部３は、図４で説明したように、骨格モデル毎に異なる色彩を付加する（Ｓ６）。骨格モデルが複数含まれていない場合（Ｓ５：ＮＯ）、視覚的特徴付加部３は、骨格モデルの関節毎に異なる色彩を付加する（Ｓ７）。例えば、視覚的特徴付加部３は、左腕、右腕、左足、右足、胴体それぞれの関節点及びリンクに異なる色彩を付加する。表示部４は、視覚的特徴が付加された３次元の骨格モデルを２次元画面に投影し、その２次元画面を表示装置２０へ表示する（Ｓ８）。
Ｓ４において、Ｓ３で算出された視認容易度が閾値を超えていない場合（Ｓ４：ＮＯ）、視覚的特徴付加部３は、２次元画面に骨格モデルが複数含まれているかを判定する（Ｓ１０）。骨格モデルが複数含まれていない場合（Ｓ１０：ＮＯ）、処理は後述のＳ１３に移る。骨格モデルが複数含まれている場合（Ｓ１０：ＹＥＳ）、視認容易度算出部２は、ペア間の視認容易度を算出する（Ｓ１１）。ペア間の視認容易度とは、２次元画面に含まれる複数の骨格モデルのうち、任意の、又は、観察者に指定された２つの骨格モデルについての視認容易度である。なお、ペア間の視認容易度は、３つ以上の骨格モデルについての視認容易度であってもよい。
視覚的特徴付加部３は、ペア間の視認容易度が閾値を超えているかを判定する（Ｓ１２）。ペア間の視認容易度が閾値を超えている場合とは、例えば、一の骨格モデルが他の骨格モデルと重なっていない場合、又は重なりが少ない場合である。ここでの閾値は、Ｓ４での閾値と同じであってもよいし、別の値であってもよい。ペア間の視認容易度が閾値を超えていない場合（Ｓ１２：ＮＯ）、視覚的特徴付加部３は、骨格モデル毎に異なる色彩を付加する（Ｓ６）。
ペア間の視認容易度が閾値を超えている場合（Ｓ１２：ＹＥＳ）、視認容易度算出部２は、２次元画面に含まれる骨格モデルそれぞれの部位毎の視認容易度をさらに算出する（Ｓ１３）。ここで、部位毎の視認容易度とは、上半身についての視認容易度、下半身についての視認容易度、左半身についての視認容易度、及び右半身についての視認容易度、である。なお、この例では、上下半身、左右半身についての視認容易度としているが、これに限定されない。例えば、腕、脚などについての視認容易度としてもよい。
ただし、Ｓ１３以降の処理は、２次元画面に含まれる骨格モデルそれぞれについて行われる。例えば、２次元画面に２つの骨格モデルが含まれている場合、視認容易度算出部２は、一の骨格モデルの上半身についての視認容易度、下半身についての視認容易度、左半身についての視認容易度、及び右半身についての視認容易度を算出する。また、視認容易度算出部２は、他の骨格モデルの上半身についての視認容易度、下半身についての視認容易度、左半身についての視認容易度、及び右半身についての視認容易度を算出する。そして、視覚的特徴付加部３は、一の骨格モデルについて、Ｓ１４以降の処理を実行し、他の骨格モデルについても、Ｓ１４以降の処理を実行する。
視覚的特徴付加部３は、２次元画面に含まれる一の骨格モデルにおける、上半身又は下半身についての視認容易度が閾値を超え、かつ、左半身又は右半身についての視認容易度が閾値を超えているか否かを判定する（Ｓ１４）。Ｓ１４の閾値は、Ｓ４での閾値と同じであってもよいし、別の値であってもよい。上半身又は下半身についての視認容易度が閾値を超え、かつ、左半身又は右半身についての視認容易度が閾値を超えている場合（Ｓ１４：ＹＥＳ）、視覚的特徴付加部３は、その一の骨格モデルに、他の骨格モデルとは異なる色彩を付加する（Ｓ６）。
上半身又は下半身についての視認容易度が閾値を超えず、又は、左半身又は右半身についての視認容易度が閾値を超えていない場合（Ｓ１４：ＮＯ）、視覚的特徴付加部３は、２次元画面に含まれる一の骨格モデルにおける、上半身又は下半身についての視認容易度が閾値以下であり、かつ、左半身又は右半身についての視認容易度が閾値を超えているかを判定する（Ｓ１５）。Ｓ１５の閾値は、Ｓ１４での閾値と同じである。上半身又は下半身についての視認容易度が閾値以下であり、かつ、左半身又は右半身についての視認容易度が閾値を超えている場合（Ｓ１５：ＹＥＳ）、視覚的特徴付加部３は、その一の骨格モデルの左半身と右半身とで異なる色彩を付加する（Ｓ１７）。そして、表示部４は、視覚的特徴が付加された３次元の骨格モデルを２次元画面に投影し、その２次元画面を表示装置２０へ表示する（Ｓ１８）。
上半身又は下半身についての視認容易度が閾値以下でない、又は、左半身又は右半身についての視認容易度が閾値を超えていない場合（Ｓ１５：ＮＯ）、視覚的特徴付加部３は、２次元画面に含まれる一の骨格モデルにおける、上半身又は下半身についての視認容易度が閾値を超え、かつ、左半身又は右半身についての視認容易度が閾値以下であるかを判定する（Ｓ１６）。Ｓ１６の閾値は、Ｓ１４での閾値と同じである。上半身又は下半身についての視認容易度が閾値を超え、かつ、左半身又は右半身についての視認容易度が閾値以下である場合（Ｓ１６：ＹＥＳ）、視覚的特徴付加部３は、その一の骨格モデルの上半身と下半身とで異なる色彩を付加する（Ｓ１８）。表示部４は、視覚的特徴が付加された３次元の骨格モデルを２次元画面に投影し、その２次元画面を表示装置２０へ表示する（Ｓ８）。
上半身又は下半身についての視認容易度が閾値を超えず、又は、左半身又は右半身についての視認容易度が閾値以下でない場合（Ｓ１６：ＮＯ）、視覚的特徴付加部３は、その一の骨格モデルの上半身と下半身と左半身と右半身とで異なる色彩を付加する（Ｓ１９）。表示部４は、視覚的特徴が付加された３次元の骨格モデルを２次元画面に投影し、その２次元画面を表示装置２０へ表示する（Ｓ８）。
なお、Ｓ８において、２次元画面を表示した後、Ｓ２の投影方向の選択を可能とし、選択された投影方向に基づいて視認容易度を再度算出して、３次元の骨格モデルに色彩を付加するようにしてもよい。このとき、視覚的特徴付加部３は、投影方向を変更する前の３次元の骨格モデルと、投影方向を変更した後の３次元の骨格モデルと、で付加する視覚的特徴（色彩）を変える。これにより、図１５に示すように、表示装置２０には、画面の切り替え前後で、異なる視覚的特徴が付加された骨格モデルが表示されるようになる。図１５は、投影方向を変更する前後の表示装置２０の表示画面を示す図である。図１５の上図は、投影方向を変更する前の表示画面、下図は投影方向を変更した後の表示画面である。このように、観察者の投影方向の選択操作に応じて、表示装置２０の表示画面を適宜切り替えることができる。
以上のように本実施の形態によれば、骨格モデルの関節点及びリンクに色彩を付加することで、２次元画面内の人物の姿勢を表現する骨格モデルを、観察者に直観的に認知させることができる。
（変形例１）
２次元画面上において、視認容易度を算出して視覚的特徴を付加する領域を指定できるようにしてもよい。図１６は、２次元画面上に、領域を指定する例を説明するための図である。例えば、表示部４が、複数の骨格モデルが含まれている２次元画面を表示装置２０に表示する。このとき、３次元可視化装置１０は、その２次元画面において、領域指定を可能にする。操作受付部１３は、２次元画面に領域を指定する操作を受け付ける。
操作受付部１３が、２次元画面上の一の骨格モデルのみが含まれる領域３０の指定を受け付けた場合、視認容易度算出部２は、領域３０に含まれる一の骨格モデルについてのみ視認容易度を算出する。視覚的特徴付加部３は、図１３及び図１４のフロー図で説明したように、算出された視認容易度と、指定された領域３０内の骨格モデルの数（この例では１つ）とに基づいて、領域３０内の骨格モデルに付加する視覚的特徴を決定する。そして、視覚的特徴付加部３は、領域３０内の骨格モデルに対応する３次元の骨格モデルに、決定した視覚的特徴を付加する。表示部４は、視覚的特徴が付加された骨格モデルを投影した２次元画面を表示装置２０に表示する。これにより、必要な骨格モデルの姿勢のみを、観察者に直観的に認知させることができることがある。
また、指定された領域３０について視覚的特徴を付加した後、再度、領域の指定を受付可能としてもよい。この場合、操作受付部１３は、指定した領域の変更を受け付ける。つまり、操作受付部１３は、領域を変更する変更手段である。視認容易度算出部２は、再度指定された領域について、視認容易度を算出する。そして、視覚的特徴付加部３は、指定された領域の骨格モデルに付加する視覚的特徴を決定する。視覚的特徴付加部３は、決定した視覚的特徴を、３次元の骨格モデルに付加する。このとき、視覚的特徴付加部３は、領域を変更する前の骨格モデルと、領域を変更した後の骨格モデルと、付加する視覚的特徴を変える。これにより、図１７に示すように、表示装置２０には、画面の切り替え前後で、異なる視覚的特徴が付加された骨格モデルが表示されるようになる。図１７は、領域を変更する前後の表示装置２０の表示画面を示す図である。図１７の上図は、領域を変更する前の表示画面、下図は領域を変更した後の表示画面である。このように、観察者の領域指定の操作に応じて、表示装置２０の表示画面を適宜切り替えることができる。
（変形例２）
３次元スケルトン情報において、２次元画面に投影する拡大率を指定できるようにしてもよい。図１８は、３次元スケルトン情報に、拡大率を指定した例を説明するための図である。この例では、操作受付部１３は、拡大率の指定を受け付ける。図１８の上図の３次元の仮想空間に対して、操作受付部１３が、拡大率「２倍」の指定を受け付けると、下図のように、骨格モデルを２倍に拡大して２次元画面に投影される。視認容易度算出部２は、拡大されて投影された２次元画面の骨格モデルについて視認容易度を算出する。そして、視覚的特徴付加部３は、算出された視認容易度に基づいて、仮想空間上の３次元の骨格モデルに視覚的特徴を付加する。この場合、骨格モデルを拡大することで、視認容易性が向上することがあるため、２次元画面内の骨格モデルを、観察者により直観的に認知させることができることがある。
また、指定された拡大率で投影された２次元画面について視覚的特徴を付加した後、再度、拡大率の指定を受付可能としてもよい。この場合、操作受付部１３は、指定した拡大率の変更を受け付ける。つまり、操作受付部１３は、拡大率を変更する変更手段である。視認容易度算出部２は、変更された拡大率で投影した２次元画面に基づいて視認容易度を再度算出する。そして、視覚的特徴付加部３は、算出された視認容易度に基づいて、３次元の骨格モデルに視覚的特徴を付加する。この場合、視覚的特徴付加部３は、拡大率を変更する前の骨格モデルと、拡大率を変更した後の骨格モデルと、で付加する視覚的特徴を変える。これにより、図１９に示すように、表示装置２０には、画面の切り替え前後で、異なる視覚的特徴が付加された骨格モデルが表示されるようになる。図１９は、拡大率を変更する前後の表示装置２０の表示画面を示す図である。図１７の上図は、拡大率を変更する前の表示画面、下図は拡大率を変更した後の表示画面である。このように、観察者の拡大率指定の操作に応じて、表示装置２０の表示画面を適宜切り替えることができる。
［プログラム］
実施の形態におけるプログラムは、コンピュータに、図１３及び図１４に示すステップＳ３～Ｓ１９を実行させるプログラムであれば良い。コンピュータは、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）、などのハードウェアを組み合わせることによって構成される。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、視認容易度算出部２、視覚的特徴付加部３及び表示部４として機能し、処理を行なう。
また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ視認容易度算出部２、視覚的特徴付加部３及び表示部４のいずれかとして機能しても良い。
［物理構成］
ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図２０を用いて説明する。図２０は、本実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
図２０に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、本実施の形態における画像処理装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記３０）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出する、視認容易度算出部と、
前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加する、視覚的特徴付加部と、
を備える、画像処理装置。
（付記２）
前記骨格モデルは、前記人物の関節に相当する関節点を有し、
前記視認容易度算出部は、
前記骨格モデルを前記２次元画面上に投影した場合における、
前記２次元画面内の鉛直方向での全ての前記関節点の分散値を求め、前記２次元画面内の水平方向での全ての前記関節点の分散値を求め、前記鉛直方向において求めた分散値と、前記水平方向において求めた分散値とに基づいて前記視認容易度を算出する、
付記１に記載の画像処理装置。
（付記３）
前記骨格モデルは、前記人物の関節に相当する関節点と、前記関節点間を結ぶリンクとを有し、
前記視認容易度算出部は、
前記骨格モデルを前記２次元画面上に投影した場合における、前記２次元画面上で前記リンク同士が交差している回数を算出し、算出した前記回数に基づいて前記視認容易度を算出する、
付記１に記載の画像処理装置。
（付記４）
前記視認容易度算出部は、
前記骨格モデルを前記２次元画面上に投影して得られる情報と、前記情報に対応する視認容易度を示すラベルとを、訓練データとする機械学習によって構築された、前記骨格モデルと前記視認容易度との関係を示すモデルに、前記２次元画面上に投影した前記骨格モデルを適用することによって、前記視認容易度を算出する、
付記１に記載の画像処理装置。
（付記５）
前記視認容易度算出部は、
前記２次元画面において特定の領域が指定された場合に、
前記特定の領域に投影された人物の骨格モデルに対して前記視認容易度を算出し、
前記視覚的特徴付加部は、
前記特定の領域に投影される人物の数と、前記特定の領域に投影された人物の骨格モデルに対する前記視認容易度とに基づいて、前記特定の領域に投影される人物の骨格モデルに付加する視覚的特徴を決定し、決定した前記視覚的特徴を前記骨格モデルに付加する、
付記１から付記４のいずれか一つに記載の画像処理装置。
（付記６）
前記視認容易度算出部は、
前記２次元画面上において、前記骨格モデルの部位毎に、前記視認容易度を算出し、
前記視覚的特徴付加部は、
前記部位毎に算出された前記視認容易度に基づいて、前記部位毎に異なる視覚的特徴を付加する、
付記１から付記５のいずれか一つに記載の画像処理装置。
（付記７）
前記視覚的特徴が付加された前記骨格モデルが投影されている２次元画面を表示する表示部、
を備える、付記１から付記６のいずれか一つに記載の画像処理装置。
（付記８）
前記視認容易度算出部は、前記骨格モデルを前記２次元画面上に投影する際の投影方向が指定された場合に、前記骨格モデルを指定された投影方向に投影された場合について、前記視認容易度を算出し、
前記視覚的特徴付加部は、指定された投影方向における前記２次元画面上で、算出された前記視認容易度に応じて、前記骨格モデルに、前記視覚的特徴を付加し、
前記表示部は、指定された投影方向において、前記視覚的特徴が付加された前記骨格モデルが投影されている、前記２次元画面を表示する、
付記７に記載の画像処理装置。
（付記９）
前記視覚的特徴付加部は、前記視覚的特徴として、前記骨格モデルに、部分毎に異なる色彩、または他の骨格モデルとは異なる色彩を付加する、
付記１から付記８のいずれか一つに記載の画像処理装置。
（付記１０）
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記仮想空間上に設定された所定の方向に基づき前記骨格モデルを２次元画面上に投影する表示部と、
前記所定の方向を変更する変更部と、
前記骨格モデルに視覚的特徴を付加する視覚的特徴付加部と、を備え、
前記視覚的特徴付加部は、前記所定の方向を変更する前に２次元画面上に投影される前記骨格モデルと、前記所定の方向を変更した後に前記２次元画面上に投影される前記骨格モデルと、で付加する視覚的特徴を変える、
画像処理装置。
（付記１１）
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記仮想空間上に設定された拡大率に基づき前記骨格モデルを２次元画面上に投影する表示部と、
前記拡大率を変更する変更部と、
前記骨格モデルに視覚的特徴を付加する視覚的特徴付加部と、を備え、
前記視覚的特徴付加部は、前記拡大率を変更する前に２次元画面上に投影される前記骨格モデルと、前記拡大率を変更した後に前記２次元画面上に投影される前記骨格モデルと、で付加する視覚的特徴を変える、
画像処理装置。
（付記１２）
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記仮想空間上に設定された特定の領域に基づき前記骨格モデルを２次元画面上に投影する表示部と、
前記特定の領域を変更する変更部と、
前記骨格モデルに視覚的特徴を付加する視覚的特徴付加部と、を備え、
前記視覚的特徴付加部は、前記特定の領域を変更する前に２次元画面上に投影される前記骨格モデルと、前記特定の領域を変更した後に前記２次元画面上に投影される前記骨格モデルと、で付加する視覚的特徴を変える、
画像処理装置。
（付記１３）
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出する、ステップと、
前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加する、ステップと、
を備える、画像処理方法。
（付記１４）
前記骨格モデルは、前記人物の関節に相当する関節点を有し、
前記視認容易度を算出するステップでは、
前記骨格モデルを前記２次元画面上に投影した場合における、
前記２次元画面内の鉛直方向での全ての前記関節点の分散値を求め、前記２次元画面内の水平方向での全ての前記関節点の分散値を求め、前記鉛直方向において求めた分散値と、前記水平方向において求めた分散値とに基づいて前記視認容易度を算出する、
付記１３に記載の画像処理方法。
（付記１５）
前記骨格モデルは、前記人物の関節に相当する関節点と、前記関節点間を結ぶリンクとを有し、
前記視認容易度を算出するステップでは、
前記骨格モデルを前記２次元画面上に投影した場合における、前記２次元画面上で前記リンク同士が交差している回数を算出し、算出した前記回数に基づいて前記視認容易度を算出する、
付記１３に記載の画像処理方法。
（付記１６）
前記視認容易度を算出するステップでは、
前記骨格モデルを前記２次元画面上に投影して得られる情報と、前記情報に対応する視認容易度を示すラベルとを、訓練データとする機械学習によって構築された、前記骨格モデルと前記視認容易度との関係を示すモデルに、前記２次元画面上に投影した前記骨格モデルを適用することによって、前記視認容易度を算出する、
付記１３に記載の画像処理方法。
（付記１７）
前記視認容易度を算出するステップでは、
前記２次元画面において特定の領域が指定された場合に、
前記特定の領域に投影された人物の骨格モデルに対して前記視認容易度を算出し、
前記視覚的特徴を付加するステップでは、
前記特定の領域に投影される人物の数と、前記特定の領域に投影された人物の骨格モデルに対する前記視認容易度とに基づいて、前記特定の領域に投影される人物の骨格モデルに付加する視覚的特徴を決定し、決定した前記視覚的特徴を前記骨格モデルに付加する、
付記１３から付記１６のいずれか一つに記載の画像処理方法。
（付記１８）
前記視認容易度を算出するステップでは、
前記２次元画面上において、前記骨格モデルの部位毎に、前記視認容易度を算出し、
前記視覚的特徴を付加するステップでは、
前記部位毎に算出された前記視認容易度に基づいて、前記部位毎に異なる視覚的特徴を付加する、
付記１３から付記１７のいずれか一つに記載の画像処理方法。
（付記１９）
前記視覚的特徴が付加された前記骨格モデルが投影されている２次元画面を表示するステップ、
を備える、付記１３から付記１８のいずれか一つに記載の画像処理方法。
（付記２０）
前記視認容易度を算出するステップでは、前記骨格モデルを前記２次元画面上に投影する際の投影方向が指定された場合に、前記骨格モデルを指定された投影方向に投影された場合について、前記視認容易度を算出し、
前記視覚的特徴を付加するステップでは、指定された投影方向における前記２次元画面上で、算出された前記視認容易度に応じて、前記骨格モデルに、前記視覚的特徴を付加し、
前記表示するステップでは、指定された投影方向において、前記視覚的特徴が付加された前記骨格モデルが投影されている、前記２次元画面を表示する、
付記１９に記載の画像処理方法。
（付記２１）
前記視覚的特徴を付加するステップでは、前記視覚的特徴として、前記骨格モデルに、部分毎に異なる色彩、または他の骨格モデルとは異なる色彩を付加する、
付記１３から付記２０のいずれか一つに記載の画像処理方法。
（付記２２）
コンピュータに、
人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出する、ステップと、
前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加する、ステップと、
を実行させるプログラム。
（付記２３）
前記骨格モデルは、前記人物の関節に相当する関節点を有し、
前記視認容易度を算出するステップでは、
前記骨格モデルを前記２次元画面上に投影した場合における、
前記２次元画面内の鉛直方向での全ての前記関節点の分散値を求め、前記２次元画面内の水平方向での全ての前記関節点の分散値を求め、前記鉛直方向において求めた分散値と、前記水平方向において求めた分散値とに基づいて前記視認容易度を算出する、
付記２２に記載のプログラム。
（付記２４）
前記骨格モデルは、前記人物の関節に相当する関節点と、前記関節点間を結ぶリンクとを有し、
前記視認容易度を算出するステップでは、
前記骨格モデルを前記２次元画面上に投影した場合における、前記２次元画面上で前記リンク同士が交差している回数を算出し、算出した前記回数に基づいて前記視認容易度を算出する、
付記２２に記載のプログラム。
（付記２５）
前記視認容易度を算出するステップでは、
前記骨格モデルを前記２次元画面上に投影して得られる情報と、前記情報に対応する視認容易度を示すラベルとを、訓練データとする機械学習によって構築された、前記骨格モデルと前記視認容易度との関係を示すモデルに、前記２次元画面上に投影した前記骨格モデルを適用することによって、前記視認容易度を算出する、
付記２２に記載のプログラム。
（付記２６）
前記視認容易度を算出するステップでは、
前記２次元画面において特定の領域が指定された場合に、
前記特定の領域に投影された人物の骨格モデルに対して前記視認容易度を算出し、
前記視覚的特徴を付加するステップでは、
前記特定の領域に投影される人物の数と、前記特定の領域に投影された人物の骨格モデルに対する前記視認容易度とに基づいて、前記特定の領域に投影される人物の骨格モデルに付加する視覚的特徴を決定し、決定した前記視覚的特徴を前記骨格モデルに付加する、
付記２２から付記２５のいずれか一つに記載のプログラム。
（付記２７）
前記視認容易度を算出するステップでは、
前記２次元画面上において、前記骨格モデルの部位毎に、前記視認容易度を算出する、
前記視覚的特徴を付加するステップでは、
前記部位毎に算出された前記視認容易度に基づいて、前記部位毎に異なる視覚的特徴を付加する、
付記２２から付記２６のいずれか一つに記載のプログラム。
（付記２８）
前記プログラムは、
前記コンピュータに、
前記視覚的特徴が付加された前記骨格モデルが投影されている２次元画面を表示するステップ、
を実行させる命令を含む、付記２２から付記２７のいずれか一つに記載のプログラム。
（付記２９）
前記視認容易度を算出するステップでは、前記骨格モデルを前記２次元画面上に投影する際の投影方向が指定された場合に、前記骨格モデルを指定された投影方向に投影された場合について、前記視認容易度を算出し、
前記視覚的特徴を付加するステップでは、指定された投影方向における前記２次元画面上で、算出された前記視認容易度に応じて、前記骨格モデルに、前記視覚的特徴を付加し、
前記表示するステップでは、指定された投影方向において、前記視覚的特徴が付加された前記骨格モデルが投影されている、前記２次元画面を表示する、
付記２８に記載のプログラム。
（付記３０）
前記視覚的特徴を付加するステップでは、前記視覚的特徴として、前記骨格モデルに、部分毎に異なる色彩、または他の骨格モデルとは異なる色彩を付加する、
付記２２から付記２９のいずれか一つに記載のプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
本発明によれば、２次元画面内の人物の姿勢を表現する骨格モデルを、観察者に直観的に認知させることができる。本発明は、３次元の骨格モデルを２次元画面上に投影して、その２次元画面を観察する際に有用である。
１ 画像処理装置
２ 視認容易度算出部
３ 視覚的特徴付加部
４ 表示部
１０ ３次元可視化装置
１１ ３次元スケルトン情報生成部
１２ 投影方向設定部
１３ 操作受付部
２０ 表示装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (10)

  1. 人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出する、視認容易度算出部と、
    前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加する、視覚的特徴付加部と、
    を備える、画像処理装置。
  2. 前記骨格モデルは、前記人物の関節に相当する関節点を有し、
    前記視認容易度算出部は、
    前記骨格モデルを前記２次元画面上に投影した場合における、
    前記２次元画面内の鉛直方向での全ての前記関節点の分散値を求め、前記２次元画面内の水平方向での全ての前記関節点の分散値を求め、前記鉛直方向において求めた分散値と、前記水平方向において求めた分散値とに基づいて前記視認容易度を算出する、
    請求項１に記載の画像処理装置。
  3. 前記骨格モデルは、前記人物の関節に相当する関節点と、前記関節点間を結ぶリンクとを有し、
    前記視認容易度算出部は、
    前記骨格モデルを前記２次元画面上に投影した場合における、前記２次元画面上で前記リンク同士が交差している回数を算出し、算出した前記回数に基づいて前記視認容易度を算出する、
    請求項１に記載の画像処理装置。
  4. 前記視認容易度算出部は、
    前記骨格モデルを前記２次元画面上に投影して得られる情報と、前記情報に対応する視認容易度を示すラベルとを、訓練データとする機械学習によって構築された、前記骨格モデルと前記視認容易度との関係を示すモデルに、前記２次元画面上に投影した前記骨格モデルを適用することによって、前記視認容易度を算出する、
    請求項１に記載の画像処理装置。
  5. 前記視認容易度算出部は、
    前記２次元画面において特定の領域が指定された場合に、
    前記特定の領域に投影された人物の骨格モデルに対して前記視認容易度を算出し、
    前記視覚的特徴付加部は、
    前記特定の領域に投影される人物の数と、前記特定の領域に投影された人物の骨格モデルに対する前記視認容易度とに基づいて、前記特定の領域に投影される人物の骨格モデルに付加する視覚的特徴を決定し、決定した前記視覚的特徴を前記骨格モデルに付加する、
    請求項１から請求項４のいずれか一つに記載の画像処理装置。
  6. 前記視認容易度算出部は、
    前記２次元画面上において、前記骨格モデルの部位毎に、前記視認容易度を算出し、
    前記視覚的特徴付加部は、
    前記部位毎に算出された前記視認容易度に基づいて、前記部位毎に異なる視覚的特徴を付加する、
    請求項１に記載の画像処理装置。
  7. 前記視覚的特徴が付加された前記骨格モデルが投影されている２次元画面を表示する表示部、
    を備える、請求項１に記載の画像処理装置。
  8. 前記視認容易度算出部は、前記骨格モデルを前記２次元画面上に投影する際の投影方向が指定された場合に、前記骨格モデルを指定された投影方向に投影された場合について、前記視認容易度を算出し、
    前記視覚的特徴付加部は、指定された投影方向における前記２次元画面上で、算出された前記視認容易度に応じて、前記骨格モデルに、前記視覚的特徴を付加し、
    前記表示部は、指定された投影方向において、前記視覚的特徴が付加された前記骨格モデルが投影されている、前記２次元画面を表示する、
    請求項７に記載の画像処理装置。
  9. 人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出し、
    前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加する、
    画像処理方法。
  10. コンピュータに、
    人物の関節の３次元座標を特定する３次元スケルトン情報を用いて仮想空間上に構築された前記人物の骨格モデルについて、前記骨格モデルを２次元画面上に投影した場合における前記２次元画面上での視認の容易性を示す、視認容易度を算出させ、
    前記視認容易度に応じて、前記骨格モデルに、視覚的特徴を付加させる、
    プログラム。
JP2022567993A 2020-12-10 2020-12-10 画像処理装置、画像処理方法、及びプログラム Active JP7473012B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/046157 WO2022123752A1 (ja) 2020-12-10 2020-12-10 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Publications (3)

Publication Number Publication Date
JPWO2022123752A1 JPWO2022123752A1 (ja) 2022-06-16
JPWO2022123752A5 JPWO2022123752A5 (ja) 2023-08-23
JP7473012B2 true JP7473012B2 (ja) 2024-04-23

Family

ID=81973477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022567993A Active JP7473012B2 (ja) 2020-12-10 2020-12-10 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240029379A1 (ja)
JP (1) JP7473012B2 (ja)
WO (1) WO2022123752A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005222504A (ja) 2004-01-07 2005-08-18 Oki Electric Ind Co Ltd 情報表示装置
WO2014080733A1 (ja) 2012-11-21 2014-05-30 株式会社日立製作所 組立作業性評価計算装置、および組立作業性評価方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052202A (ja) * 1999-08-09 2001-02-23 Osaka Gas Co Ltd 人体動作可視化装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005222504A (ja) 2004-01-07 2005-08-18 Oki Electric Ind Co Ltd 情報表示装置
WO2014080733A1 (ja) 2012-11-21 2014-05-30 株式会社日立製作所 組立作業性評価計算装置、および組立作業性評価方法

Also Published As

Publication number Publication date
JPWO2022123752A1 (ja) 2022-06-16
US20240029379A1 (en) 2024-01-25
WO2022123752A1 (ja) 2022-06-16

Similar Documents

Publication Publication Date Title
JP4829141B2 (ja) 視線検出装置及びその方法
CN107484428B (zh) 用于显示对象的方法
JP2021514512A (ja) 動作の識別および動作情報を用いた規範的な分析の生成
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
JP7042561B2 (ja) 情報処理装置、情報処理方法
JP2017191576A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP7378232B2 (ja) 画像処理装置およびその制御方法
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
WO2021175208A1 (zh) 人体模型的建模方法、建模装置、电子设备及存储介质
JPWO2019012632A1 (ja) 認識処理装置、認識処理方法及びプログラム
JP7490072B2 (ja) マルチビュー画像を使用した３ｄ人間ポーズ推定に基づく視覚ベースのリハビリ訓練システム
CN113129362B (zh) 一种三维坐标数据的获取方法及装置
CN111681302A (zh) 一种3d虚拟形象的生成方法、装置、电子设备及存储介质
JP7473012B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020144848A1 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
JP7029253B2 (ja) 情報処理装置及びその方法
CN112292656A (zh) 影像显示系统、影像显示方法及计算机程序
JP3642923B2 (ja) 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2024009888A1 (ja) 情報処理装置及びその制御方法及びプログラム
JPWO2020111139A1 (ja) 座標算出装置、座標算出方法、及びプログラム
JP2020187626A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7261342B1 (ja) 情報処理装置、方法、プログラム、およびシステム
JP7501543B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6873326B2 (ja) 眼３次元座標取得装置及びジェスチャ操作装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7473012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150