🗃️

Motion Capture 动作捕捉

我们希望真人的动作反映到虚拟的人物上去,就要建立一个虚拟的任务和真人之间的关系,这就需要用一系列的控制点。

Motion Capture

Data-driven approach to creating animation sequences
  • Record real-world performances (e.g. person executing an activity)
  • Extract pose as a function of time from the data collected
右图中,角色上就有各种球,这些球就能当作控制点。只要人在做动作时,将其拍下来,我们就知道各个球的位置(计算机视觉),就可以把球的位置反映到虚拟的人物上。
 
Motion capture room for ShaqFu
Motion capture room for ShaqFu

Motion Capture Pros and Cons

Strengths
  • Can capture large amounts of real data quickly
    • 动作捕捉可以通过一上午就得到大量数据
    • 如果要让艺术家调,可能要花好长时间才能调一个动作。
  • Realism can be high
Weaknesses
  • Complex and costly set-ups
    • 开始做动作捕捉时,有很多事情要准备。
  • Captured animation may not meet artistic needs, requiring alterations
    • 捕捉的动作合理吗?动画人物的表情动作一般都比较夸张,如果让真人演动画人物,可能得到的结果跟预期目标不太一样,可能还需要艺术家去调。
    • 可能都捕捉不到好的数据。
      • 捕捉条件有限制。
      • 演员正面能看到很多控制点,如果背面也有控制点,就需要在背面加摄像机。一般来说这样也不够,一般需要在不同方向都放摄像机,这些都是成本。再加上人物的各种动作可能会遮挡住身上某一块,诸如这些各种问题会存在。

Motion Capture Equipment

不止有一种定义控制点的方法。
notion image
  • Magnetic 磁力
    • 发出磁场、电波就知道控制点在哪。
  • Mechanical 机械
    • 我们知道机械怎么运动,从而知道控制点怎么运动。

Optical Motion Capture

运用最广泛的还是光学的方法。
notion image
  • 要贴 Marker(贴片、小球等) 在人身上。
  • Positions by triangulation from multiple cameras
    • 到处放复杂的摄像机,希望准确地把点测出来在哪。
  • 8+ cameras, 240 Hz, occlusions are difficult
    • 例如超过八个 240 Hz 的摄像机来捕捉。
Ronda Roussey in Electronic Arts’ motion capture studio

Motion Data

最后测出来的杂乱的曲线是一个控制点(Marker)在一个时间会出现在三维空间的哪。
每一个点都这么追踪,就形成这样的曲线。
Subset of motion curves from captured walking motion. From Witkin and Popovic, 1995
Subset of motion curves from captured walking motion. From Witkin and Popovic, 1995

Challenges of Facial Animation

人们会发现通过这种动画生成的方式,会得到非常真实的动画。
有人在思考一个问题:如果生成的东西过于真实了怎么办?有人用来做坏事怎么办?
Uncanny valley(恐怖谷效应)
  • In robotics and graphics
  • As artificial character appearance approaches human realism, our emotional response goes negative, until it achieves a sufficiently convincing level of realism in expression
notion image

Facial Motion Capture

阿凡达是里程碑的作品,就是因为用了面部的动作捕捉。
演员脸上有各种颜色记号,分布的很密集,如果人面部有动作,就会立刻反映到人物的虚拟角色上。
Discovery, “Avatar: Motion Capture Mirrors Emotions”, https://youtu.be/1wK1Ixr-UmM
Discovery, “Avatar: Motion Capture Mirrors Emotions”, https://youtu.be/1wK1Ixr-UmM

The Production Pipeline

讲到这里就可以讲动画电影过程定义下来了。
notion image