索尼前沿虚拟制作技术让经典芭蕾舞剧《天鹅湖》再焕生机

    索尼PCL的创意设施“清澄白河BASE”，是一个充分活用索尼技术的视频制作工作室。 近日，该工作室制作了一部基于经典芭蕾舞剧《天鹅湖》的短片 ，并将其发布在索尼官方社交平台上。我们与负责策划和制作这部视频的团队进行了对话，了解了这部作品背后的创作过程。

△菅野尚子(右)，索尼公司技术研发实验室

    内容技术研发本部空间影像技术开发部;

    大贺英资(左)，

    索尼PCL视觉解决方案本部内容创作部

    在这部短片中，芭蕾舞者们在平静的、雾气弥漫的湖边模仿天鹅的动作，优雅地同步舞动，四周环绕着茂密的森林。观众可能会好奇，传统的芭蕾舞是如何在这样自然开阔的环境中上演的。事实上，整部影片是在清澄白河BASE的虚拟制作影棚内拍摄的。

    虚拟制作（VP）是一种电影拍摄方法，它将虚拟场景投射到LED屏幕上，并同时拍摄前方的真实演员或物体，实时合成真实与虚拟的画面。 参与该项目的工程师菅野久子解释道：“索尼的许多最新技术都被应用于打破现实与虚拟之间的界限中，使最终的作品看起来更加真实。”

    索尼前沿技术应用于

    经典芭蕾舞剧《天鹅湖》

    导演大贺英资表示，制作基于《天鹅湖》的电影灵感来源于他在百老汇以及其他舞台剧中看到的前沿技术应用。

    “我们将这次挑战看作展示清澄白河BASE在视频制作方面的技术水平的一种方式，同时也看看如何通过虚拟制作（VP）和体积捕捉等技术，将大家熟知的传统舞台剧转变为一种全新的形式。 ”

△推远的镜头(使用体积捕捉技术)

△拉近的镜头(使用虚拟制作技术)

    索尼对这场演出制作进行了特别规划，将影像技术融入表演的每个元素。 例如，在一个奇幻镜头(如上所示)中，摄像机聚焦于穿越雾霭的舞者。大贺解释道：“我们希望在摄像机穿过晨雾时，从使用体积捕捉技术拍摄的3D CG舞者切换到在LED屏幕前跳舞的真人舞者，达到一种自然的效果。”

    体积捕捉技术通过在影棚天花板和墙壁上安装超过100个摄像机，从多个角度捕捉对象，并将图像转换为3D数字数据，从而实现高质量的3D CG影像重现。与传统技术不同的是，这项技术能够自由地呈现那些未被摄像机直接捕捉的视角。

    大贺说：“在拍摄这个场景时，我希望将摄像机的运动设计得尽可能宏大和广阔，以展示舞台上无法实现的纵深感。”另一方面，如果摄像机的运动幅度过大，虚拟制作需要的LED屏幕就无法覆盖整个背景图像。因此，需要插入使用体积捕捉技术生成的舞者的3D CG影像，以实现逼真的视觉效果。

△清澄白河BASE的VP影棚(上)

    和体积捕捉影棚(下)。

    体积捕捉影棚于2022年安装在VP影棚旁边，

    2023年VP影棚得到了升级，

    增加了扩展的LED屏幕等

    菅野表示：“清澄白河BASE是少数几个VP影棚和体积捕捉影棚位于同一楼层、紧邻而设的工作室之一。”这种优势也在《天鹅湖》的拍摄中得到了充分利用。

    索尼中国资讯

    受艺术家反馈启发的

    实时抠像技术开发

    除了VP和体积捕捉技术之外，这部短片还融合了索尼的新技术——实时抠像（Live Keying）。 这种技术广泛应用于现场音乐会舞台制作中，能够实时隔离图像中的物体，并将其即时显示在背景LED屏幕上，无论是在影棚还是舞台上。

△菅野尚子，索尼公司技术研发实验室

    内容技术研发本部空间影像技术开发部

    传统的视频处理技术在背景图像发生剧烈变化或主体大幅移动的情况下，通常难以准确提取人物轮廓。然而，索尼的实时抠像技术通过索尼的特殊传感器，使这一目标成为可能。

    作为该技术开发者之一，菅野强调：“实时抠像技术特别适合用于背景图像生动变化的VP制作。”

△通过使用实时抠像技术，

    舞者在LED屏幕前表演的视觉数据

    被实时捕捉并投射摄到屏幕上

    开发这一技术的动力来自菅野收到的一位艺术家的需求。她工作的一部分就是陪同艺术家前往演出现场，为演唱会提供技术支持，她经常在现场收到艺术家和工作人员的反馈和要求。“在排练期间，我听到一位艺术家随口提到，‘如果能做到像实时抠像技术那样的效果就好了’，这让我开始了这项技术的研发。”

    菅野解释说，将这项技术融入《天鹅湖》视频制作的决定，源于她希望“更多的现场音乐表演能使用实时抠像技术，并且希望增加更多将该技术与VP共同使用的案例”。

    技术带来全新的

    现场沟通方式

    在视频制作中，所有参与拍摄的工作人员需要共享导演所构想的视觉图像。

    大贺表示，在这次制作中使用VP技术，也让他能够轻松地将自己的创作构想实时传达给舞者。“在传统情况下，当我们计划在背景中使用CG图像时，需要使用绿幕拍摄。然而，使用LED屏幕实时显示背景图像，演员更容易直观地理解场景内容，也有助于他们更好地进入角色。”

△大贺英资，

    索尼PCL视觉解决方案本部内容创作部

    大贺表示，许多舞者都评论说，使用这种技术帮助他们更好地完成了表演。

    在CG拍摄中，最常提到的困难之一就是灯光调整。在视频编辑过程中，必须将现实拍摄的图像与CG图像的光线角度和亮度进行匹配，以实现画面的一致。然而，由于负责拍摄的工作人员不一定熟悉CG，往往需要花费大量时间调整真实图像和CG图像的灯光。

    大贺解释道：“即使我们改变舞者的灯光，实时抠像技术也能让我们将舞者的图像实时投射到背景的LED屏幕上。这减少了CG后期处理的需求，并大大提高了效率。 ”

    在清澄白河BASE， 贴近创作者，

    实现他们的创作愿景

    虽然这些前沿技术减少了拍摄的障碍，大贺回忆道，他也感受到了因高度自由而带来的不知所措。“我能够在现场和技术开发人员讨论拍摄中的各种困难，让我们能够巧妙地使用技术来实现我设想的画面效果。”他补充道：“这是只有索尼才能承担的项目。”

    对于菅野来说，她从工程师的角度表达了自己的热情：“我希望继续通过直临现场，直接听取创作者的声音，提供有助于创作的技术。”

    展望未来，大贺表示：“我愿意将与公司外部创作者合作视频制作时获得的经验，用来与索尼的工程师一起在清澄白河BASE开发更好的解决方案。”