摘要
该项目旨在开发一种利用现有机器学习 (ML) 模型的情感分析库对文本情感信息进行分析和可视化的原型工具。主要目标是创建一个用户友好的系统。该系统不仅将提取的情感数据与机器学习结果一起呈现，还帮助用户收集与情感相关的信息和可视化。通过提供具体的视觉表示，该工具可以更好地理解抽象的情感世界，以此帮助医疗保健专业人员理解患者的情绪状态，以及帮助家人和朋友理解他人的情绪。该工具有助于改善心理治疗、支持个人理解情绪、与他人建立情感联系，最终在这个过程中获得支持和灵感。这种创意交流不仅增强了个人的创造力和自我表达能力，还加强了社区的凝聚力和情感共鸣。
情感计算和情感可视化：
基于网页端的交互式可视化原型系统
Jun - Aug 2023
可视化系统
人机交互硕士毕业项目
导师: Dr. Angela Miguel & Dr. Ognjen Arandelovic
计算机学院
圣安德鲁斯大学
15/08/2023
总之，该项目旨在开发一个原型系统，能够收集用户数据，提取潜在的情感信息，并为相关利益相关者提供输出和可视化工具。值得注意的是，由于伦理问题，该系统不涉及收集真实用户的私人数据，但将作为演示目的的原型。
总体系统架构
动态工作流程：
实时接收和可视化
当用户在日记页面记录文本和时间信息后，后端进行情感分析并将结果写入JSON数据库。因此，前端接收到的数据会根据用户输入实时变化，从而实现动态可视化调整。
贡献
在实际应用贡献方面，该项目开发了一个复杂的工具，旨在促进文本数据的获取，使用户能够探索信息中嵌入的潜在情感细微差别。通过利用有形的可视化表示和互动技术，个人能够更深入地了解情感的抽象领域。该工具通过引入全栈的工作流程和实时的、以人为中心的动态情感分析系统，有效地缓解了现有静态情感可视化系统的缺点。此外，它强调感同身受的设计和最终用户的创造力，从而增强情感互动体验。从理论上讲，该工具为原始情感数据引入了创新属性，使隐含的情感模式可视化。此外，它增强了机器学习结果的可解释性，为用户提供了更直观的理解。
评估
由于圣安伦理审核限制，我们无法获得评估可视化系统的批准。因此，未来的工作将继续侧重于根据用户需求和体验来增强系统。本次讨论仅提供精选的个人发现和见解来总结这项工作。
- 有趣的发现和思考 -
复杂的情绪和难以捉摸的机器计算
5.29：
威廉，没有了爱，世界对我们的心又算得了什么呢？就像没有了光，阿拉丁神灯也毫无意义。只需点燃心中的火焰，最绚烂的图像就会在白墙上闪现；即使爱只给我们展示了瞬息的影子，当我们像孩子般欣赏它们，被那灿烂的幻影感动时，我们仍然是幸福的。今天我没有见到夏洛特，因为有些客人来访，我无法摆脱。我派了仆人去她家，至少能见到一位曾近距离接触过她的人。等待他回来的时候，我是多么焦急啊！当他回来时，我是多么欣喜啊！如果不是因为感到羞愧，我一定会抱住他亲吻他。有人说，把波诺纳石放在阳光下，它会吸引光线，在黑暗中发出微光。我和这个仆人的关系就像这样。想到夏洛特曾经凝视过他的容颜、他的面颊、他的衣着，使我对他无比珍视，以至于那时我愿意用千金也不愿与他分开。他的出现让我如此快乐！威廉，请别笑话我。让我们快乐的东西难道会是幻觉吗？
Chinese Version
One example diary entry
这个示例日记条目是从一本小说（https://www.gutenberg.org/files/2527/2527-h/2527-h.htm）摘要并模拟的，右侧显示了两个情绪分析库的结果。令人惊讶的是，他们产生了完全相反的结果。这强调了情感的主观性和复杂性，使情感分析成为一项具有挑战性的任务，特别是复杂、模棱两可或讽刺的文本，这些文本可能无法获得精确的算法捕获。不同的情感分析库可能会使用各种算法和方法。一些可能专注于句法结构，而另一些则强调语义和上下文理解。
这些差异可能导致对同一文本的不同解释，这可能反映了某些库的可靠性和准确性问题。该领域的未来研究可能会受益于在注释测试数据上评估这些库，以进一步了解其性能。虽然目前的原型设计考虑通过The Empathy Box界面输入情感标签和数据，但它未能存储来自用户的真实情感数据，以便与机器学习结果进行比较和一致。
因此，未来的系统开发可以继续专注于建立一个更全面和动态的可视化工作流程，同时考虑到从用户那里收集多维情感数据。这可以为在机器学习中构建情感分析库提供更多真实的数据集和见解。
0 1
沉浸式虚拟现实&
情感元宇宙
To play, press and hold the enter key. To stop, release the enter key.
增强
情感可视化
虚拟现实（VR）技术通过让用户沉浸在虚拟环境中来增强情感可视化，实现与数据和信息的更直观和身临其境的交互。通过听觉、视觉和互动元素，VR唤起情绪反应，帮助用户理解和管理焦虑和抑郁等情绪。这项技术在增强用户体验和情感联系方面具有巨大的潜力。
虚拟心理咨询 (LLMs) &
沉浸式体验
0 2
The Concept 3D model was created by three.js
使用Three.js构建舒适的房间设置和小雕像以此模拟咨询环境，能为用户提供更互动的心理咨询体验，帮助他们理解咨询过程和环境。这种虚拟设置为心理健康教育、培训和治疗提供了一个安全、受控的环境。此外，用户可以不受限制地探索和练习技能和应对策略。与只写日记相比，通过对话记录想法和观点可以更自然地表达情绪，并立即提供反馈和支持，促进对情绪和问题的更深入理解，并可能指导用户考虑更多解决方案。总之，这个想法促进了对心理健康的认识和实践，增强了对咨询的理解和接受度。
GPT-3等LLM可用于创建虚拟咨询师。凭借强大的自然语言理解和生成能力，LLM可以模拟人类对话，并根据用户输入提供相应的响应和建议。因此，LLM是构建虚拟顾问的绝佳选择，提供个性化的咨询服务。
激发
真实用户表达
- 对话 & 日记 -
0 3
基于情绪生成植物群
创造性 心理景观
将心理景观与沙尘游戏理论相结合：根据情感类型和强度产生相应的花卉、植物和树木。
0 4
多模态健康信息可视化
丰富数据和可视化
多模式心理健康数据可视化集成了数据的多个维度，包括语言、视觉、空间、手势和听觉方面，与单模式情感分析相比，提供了更丰富、更全面的表示。这种整体方法捕捉了更广泛的个人心理状态和情感表达。例如，除了文本情绪分析外，还可以通过图像、视频和声音分析分别捕捉面部表情、肢体语言和声调。这种综合分析更准确地反映了个人的心理状态和行为特征，使医疗保健专业人员和研究人员能够获得更深入、更全面的数据洞察力，以更好地了解个人的心理健康状况，并制定更有效的治疗策略。
0 5
网页端应用程序
这项产品是为心理健康数据可视化设计的平台，可作为网络应用程序和移动应用程序使用。它允许用户在系统中输入各种类型和数据源，如文本、图像和音频。然后使用机器学习和深度学习技术对数据进行分析和处理。用户可以通过网络应用程序或移动应用程序查看分析结果，以图表、图形和热图等可视化格式呈现。该产品的主要目标是帮助个人更好地了解和管理他们的心理健康。此外，它为诊断、治疗和研究等领域的专业人士提供了宝贵的数据支持。
这个平台不仅帮助用户可视化个人心理健康数据，还促进情感内容的创建和交换。用户可以通过输入各种形式的数据来探索他们的情绪状态，并对其进行可视化，以更好地理解和管理他们的心理健康。此外，他们可以通过平台表达情感，分享经验，并与他人建立联系，在此过程中获得支持和灵感。这种创造性的交流不仅增强了个人的创造力和自我表达，还增强了社区凝聚力和情感共鸣。
个人信息可视化
听众
最终用户包括表达自己情绪的个人和各种利益相关者，包括治疗师、家庭成员和朋友，他们寻求观察和理解这些情绪状态。这种多样化的用户群构成了可视化系统的主要受众。在系统的前端，两个界面通过3D交互式可视化促进与用户的双向交互，促进增强的创造力和实时情感表现。在其余的界面中，日记条目界面迎合用户提供输入，而使用D3.js实现的时间线可视化是客观和专业情感分析的主要工具，专为医疗专业人员和心理健康顾问等专业受众量身定制。
系统
整个系统由三个主要组件组成：前端、后端和JSON数据库。如图所示，完整的系统架构和工作流程包括最终用户、四个前端接口、用于情感分析的后端接口，以及整合和存储原始前端输入和后端分析结果的JSON数据库。
动态工作流程：实时接收和可视化
一旦构建了前端、后端和数据库，就建立了这个动态可视化系统/工具的基本框架。当用户在日记页面上记录文本和时间信息时，后端会执行情绪分析，并将结果写入JSON数据库。因此，前端接收的数据根据用户输入实时更改，从而实现动态可视化调整。
前端
前端主要处理用户输入，将数据发送到后端，接收JSON数据，并呈现情感可视化。
1. 收集和发送用户数据
提供的前端代码片段通过表单捕获用户对文本和时间的输入。当提交表格时，它会检查是否提供了文本和时间。如果是，它会向“http://127.0.0.1:8000/analyze”的后端发送POST请求，文本和时间封装为JSON。在工具的实际构建中，我们使用了一本小说来模拟45天日记条目的输入。
2. 获取JSON数据
前端还负责从后端服务器获取和处理情感数据并创建可视化。前端代码中的fetchData函数从指定的URL获取情感分析结果。它通过将其映射到包括日期、负、中性、正和复合情绪值以及情感标签的新格式来处理收到的数据。
Exampe codes to fecth data in the front end
The example diary to simulate the real user input (https://www.gutenberg.org/files/2527/2527-h/2527-h.htm)
3. 创造可视化
D3.js：情绪分析的主要可视化
在前端收到JSON数据后，D3.js库（https://d3js.org/）用于创建交互式图表。D3.js是一个著名的JavaScript库，允许根据数据操作文档。它能够将数据绑定到文档对象模型（DOM），并将数据驱动的转换应用于文档。使用D3.js，从情绪分析中获取的复杂数据可以通过动态和交互式图形形式进行可视化表示，从而提高用户参与度和对潜在模式和趋势的理解。
three.js：即时输入的3D交互式视觉化
Three.js（https://threejs.org/）是一个流行的JavaScript库，便于在网络浏览器上创建3D图形。通过使用WebGL，three.js可以直接在浏览器中渲染复杂的3D对象、场景和动画，而无需专门的软件或插件。
基于这个项目的意义，three.js提供了建立更多感同身受的物理可视化和艺术表达的机会。创建身临其境的3D空间和元素的能力可以带来对数据的更吸引人和直观的理解，允许用户以超越传统二维演示的方式探索和与信息互动。通过增加深度和维度，three.js可以为数据注入活力，将数字和统计数据转化为有形和可亲的视觉体验。
D3.js:
main visualization on sentiment analysis
three.js:
3D interactive visualization on instant input
创作灵感
可视化原型
大量研究介绍了各种基本图表（如河流）和研究，作为强有力的研究指导和专业灵感。
从使用Five Design Sheet方法的初步头脑风暴开始，我们结合了VADER和Tweetnlp机器学习库的发现，以直观地表示情绪的类型和强度，遵循Plutchik的情感轮模型进行配色方案。情感分析的可视化涉及两个主要方面：时间线上的情绪和文本中的情绪。我们将头脑风暴的想法过滤并分类为五个可视化设计：交叉时间、日记可视化、情感类别、3D投影和动态艺术。优先考虑Ben Shneiderman的视觉信息法则，时间线可视化至关重要，因为他在总体上概述了情绪随时间的演变。
Plutchik的情感模型利用色轮来有效地说明情感的相似性和差异性：
1.颜色编码： 每个基本情绪都对应一种特定的颜色，相邻的颜色表示相似的情绪，相反的颜色表示对比的情绪。
2.饱和度编码： Plutchik使用饱和度来表示情绪的强度，更饱和的颜色表示更强烈的情绪，不太饱和的颜色代表较弱的情绪。这种直观的方法有助于理解情绪的力量或弱点。
可视化的演变
为了增强我们的可视化能力，我集成了时间线情感可视化作为主要概述，并纳入了额外的缩放和过滤功能，以获得更精细的细节。这种集成需要将详细的文本信息与时间线可视化窗口链接，并实施时间线驱动的过滤器。
在这五个草图类别中，最重要的是与时间线相关的可视化，因为根据Ben Shneiderman（1996）的设计信息可视化系统的原则，方法应该是“概述第一”。因此，随着时间的推移，情绪的可视化允许对情绪的整体视图有一个宏观视角。
经过批判性讨论，更多集思广益的想法被进一步筛选和筛选。放弃的原因总结如下：
将调色板最多限制为七种色调，以避免因颜色过度变化而造成混乱，这可能会妨碍效率。
颜色
保持时间线的线性格式，避免将其转换为圆形或其他形状。圆形布局可能会阻碍理解，由于内部半径不一致，导致视觉拥堵和对形状、颜色和位置的误解。
形状
当使用颜色来表示情感信息时，请确保清晰度并避免模棱两可。例如，使用3D热图可能会误导观众根据海拔感知不同大小的颜色区域，这可能会诱发认知偏见。
认知偏见
Sandplay疗法是一种非语言形式的心理治疗，通常用于心理治疗和个人成长过程（Kalff，1980年）。这种疗法已广泛应用于心理健康治疗（Bradway和McCoard，1997年；Turner，2005年）。在Sandplay Therapy中，个人被引导使用微型人物、石头、贝壳和其他物体，在装满湿沙或干沙的托盘中构建一个三维“世界”。治疗师在没有干预的情况下进行观察，然后与个人一起探索这个世界的意义。这个过程可以揭示患者内心的冲突和欲望，在相对安全的环境中提供解决方案。
Sandplay Therapy
在该项目的背景介绍中，情感计算和可视化的主要目的是帮助心理健康领域理解和监测情感信息，特别是对于那些应对抑郁和焦虑等情绪障碍的人，他们需要特别关注自己的情绪。因此，除了在可视化中考虑更感同身受的设计外，考虑长期的潜在诊断和治疗意义也至关重要。
To play, press and hold the enter key. To stop, release the enter key.
情感物理化
一排花映射到积极的情绪，即爱、快乐、乐观、期待；草的第二个元素代表信任的中性情感，尖锐的树枝象征着恐惧；水晶的第三个元素对应于愤怒、厌恶（岩石的颜色代表情感的类型，粗糙的表面映射到负面因素）；第四行，从左到右，描绘了悲伤、悲观、惊喜（象征眼泪）。
基本情绪投射
树木代表中性情绪，树的高度表示情绪的强度；莲花表示积极的情绪，莲花的数量表示情绪的强度；小岛的底部象征着负面情绪，较大的蓝色区域表示负面情绪的强度更高。
沙盘的概念是内在情感和欲望的隐喻表现，将它们转化为有形的物体。这个想法与物理可视化哲学一致，即抽象或无形的感知被转化为多感官体验。沙子游戏和物理可视化的融合催生了心理景观的概念。情感可以隐喻性地映射到不同的自然元素，想象以海洋为代表的悲伤，波浪的起伏反映了情感的振荡。每个人的精神岛可能都有一个阳光明媚的海滩，象征着好心情，但在情感风暴期间，岛屿可能会被吞没，树木可能会被推翻。
心理景观是一个高度有意义、创造性和感同身受的可视化概念。目前，此页面仅实现固定3D模型的检索（在Blender中预建模），但如果有足够的时间，它可以完全实现基于情感分析结果的物理元素的自动选择和组合。此外，用户可以自定义或参与这些物理元素的创建，从而提高最终用户在这个动态可视化系统中的参与度。我相信three.js带来的强大的渲染、建模和动画功能使进一步的创意工作成为一种令人兴奋的可能性。
心理景观
这种心理景观体现了情感和同理心的隐喻，从治疗的角度提供了见解和材料。通过物理可视化，我们还可以定量地定义情绪的强度。
Visualizing emotions through a psychological empathy lens still necessitates further creativity and imagination. The concept of the Empathy Box draws inspiration from Dutch artist Maarten Baas's series of "Real Time Clock" video artworks. These pieces feature live clocks manipulated by individuals in diverse ways, including one where a person appears "trapped" within the clock, continuously erasing and redrawing the hands manually. Baas's creations ingeniously depict the passage of time and highlight the intricate interplay between people and time. By situating individuals within the clock, Baas delves into the tension between subjective time experiences and physical reality (Baas, 2016).
Baas的项目通过在狭窄的空间内描绘焦虑，巧妙地传达时间流逝的压倒性本质，有效地唤起了同理心。同样，抑郁和焦虑等负面情绪会诱发空间窒息感，通常与压迫、折磨和诱捕的感觉有关，在心理学、神经科学和精神分析中进行了广泛研究（Gorman，1996年；Chorpita和Barlow，1998年；Barlow等人，2000年；Olatunji等人，2007年）。
根据上面的灵感，同理心盒由一个3D盒子表示，该盒子根据黄色、绿色和蓝色中舞蹈人物的情感状态改变其背景颜色和半透明性，对应于不同的情感类别（积极、中性、消极），随着情感转向消极，盒子的材料变得不透明。
在悲伤的高峰期，盒子变成了朦胧的蔚蓝玻璃效果，掩盖了人物的动作，并传达了一种撞击墙壁的感觉。这种3D可视化实现了对心理状态的即时描绘，让用户沉浸在悲伤的容器中。相反，在更明亮的情绪中，盒子可能看起来像透明的玻璃，周围环绕着温暖的色调，可以实现快乐的运动。这种设计促进了情感的移情可视化，允许用户根据其心理参数控制额外的互动效果。
现实背景
据调查，仅美国就有数百万人患有抑郁症等严重精神疾病（SMI），这些疾病的全球直接和间接影响估计每年为2.5万亿美元（Doran等人，2017年）。这个惊人的统计数据凸显了在精神保健方面进行有效干预的迫切需要。可视化心理健康，包括情绪等方面，已被证明可以增强个人理解，并有助于医疗保健提供者的治疗计划（East & Havard.，2015年；Murnane等人，2018年）。此外，可视化为研究人员提供了对心理健康状况的宝贵见解，允许更有针对性的干预（Carroll等人，2014年）。在此背景下，可视化情感特别促进意识，激发自我反思，并促进沟通（Peng等人，2023年）。研究表明，从事情感可视化练习的个人报告了更高的情感意识和调节技能（Morris等人，2010年）。因此，情绪可视化是观察情绪趋势和实施情绪调节策略的重要工具，最终在促进心理健康方面发挥着至关重要的作用。