交互装置的技术路线:传感、计算与反馈
交互装置可以拆成感知、计算、反馈三环。按感知方式,常见的有视觉感知、物理传感和手机参与三条路线。
交互装置和一幅画最大的区别,是它要先“知道”观众做了什么。所有交互装置都可以拆成同一个回路:感知,传感器把人的位置、动作、触摸变成数据;计算,程序过滤噪声、判断发生了什么;反馈,灯光、声音或图像随之改变,观众再据此调整动作。1970 年代迈伦·克鲁格的 Videoplace 已经是这个结构:摄像机拍下观众,轮廓在屏幕上与图形互动。真正难的从来不是某一环,而是动作和反馈之间的映射能否在几秒内被观众读懂。
路线一是视觉感知:摄像头或深度相机看观众,TouchDesigner 处理图像、生成画面,投影机再把画面投到墙面、地面或物体上。普通摄像头便宜,配合姿态识别模型就能估计人体关键点;深度相机能把人从背景中分出来并做骨骼追踪,相当于不贴标记点的动作捕捉。画面要贴合到不规则物体上时,还要做投影映射。门槛是一台显卡较好的电脑、节点式软件和投影校准;风险是光线变化、观众互相遮挡、多人同时进入时识别混乱,以及设备停产。
路线二是物理传感:Arduino 读取距离、压力或触摸传感器,直接驱动声音和灯光。超声波和红外传感器适合“靠近就变化”;藏在地垫下的力敏电阻能判断有没有人踩上去;电容触摸可以隔着纸或木头感应手的接近。它不依赖光线,成本低,适合能摸、能走上去的实物装置。门槛在电路和焊接,风险在接线松动和传感器被反复踩压后损坏。Arduino 独立运行最稳定,接电脑生成画面更灵活,但多了一个故障点。
路线三是让观众用手机参与:扫码打开一个网页,不用安装应用,触摸、绘画或输入的文字经服务器传到连着大屏的电脑,大屏实时生成画面。它几乎不需要专门的硬件,很多人可以同时参与,适合收集观众的文字和图形。风险集中在现场:展厅网络撑不撑得住、同时在线的人数有多少、观众输入的内容要不要审核。这条路线的工作量主要在网页和服务器开发,而不在传感器。
怎么选?先问作品需要知道的最少信息是什么。只需要知道“有没有人、离多远”,一个距离传感器就够了,不必上深度相机;需要知道观众的姿态和动作,才值得走视觉路线;想让很多人同时留下内容,手机路线最直接。信息越少,系统越简单,现场越稳定。其次看作品的载体:以投影为主的暗场空间适合视觉路线,可以触摸的实物和缝进衣服的传感器更适合物理传感。
三条路线在现场面对的是同一组问题。延迟一长,观众就不再觉得变化是自己造成的;读数抖动要靠取平均、设阈值和留“回差”来压住;路过的人和工作人员都会造成误触发,可以要求停留一段时间才触发,或者限定感应区域。展厅的自然光、相邻展品的灯光、作品自己的投影都会干扰摄像头,所以一定要在真实场地、真实时间段测试,并准备降级方案:传感器失效时,作品停在一个可看的默认状态,而不是黑屏。
安全和维护同样要写进方案。线缆贴地固定,插排和适配器远离观众,吊装的投影机和传感器做二次固定,可触摸的物件不能有尖角。展期往往比制作期更长,值班的人不一定懂技术,一页写清开关机步骤、出问题时先重启哪一部分的说明,是作品每天能正常运行的前提。
对毕设的建议是:先做最小回路,再加复杂度。尽早用最便宜的传感器跑通“感知—计算—反馈”,确认映射成立,再决定要不要升级到深度相机或多台投影机。选设备之前先查清驱动和软件支持,深度相机尤其如此。最后为自己的路线写一页方案:三环各用什么,需要哪些设备,现场有哪些风险,失效时怎样降级。