企业在实施大数据洞察分析时面临的挑战主要围绕非结构化数据的处理能力。面对海量的结构化数据，如ERP、CRM及各类终端的用户行为数据，传统的分析系统已经发展出较为成熟的解决方案。对于大量的半结构化及非结构化数据，如网站留言、产品评论、微博评论等，传统的分析方法往往捉襟见肘。
在传统的操作模式下，企业舆情人员通常需从各种信息源中手动筛选出有价值的信息，然后进行手工整理和汇总。这种方式效率低下，难以应对大规模的信息处理需求。
要全面观察行业或特定的趋势和声量，单纯依赖人力是远远不够的。如何从海量半结构化和非结构化数据中提取有价值的信息，并将其转化为结构化数据用于进一步的分析和统计，已成为企业迫切需要解决的问题。
达观自研的NLP平台运用了多种机器学习算法，结合达观数据独特的语义理解和分析引擎，能够实现词汇级、句法级以及篇章级的文本理解。此平台能一站式满足用户的文本语义分析、文本分类、实体抽取、关系抽取以及情感分析等需求，从而使用户无需深厚的算法背景即可快速创建和使用算法模型。
（图示：达观NLP语义分析工作原理）
基于自研的NLP平台，达观的VOC系统能够有效地将非结构化数据转化为结构化数据。这一系统能从大量的文本数据中提取出有价值的信息，助力企业实现感知、用户需求挖掘、竞品动向掌握以及运营效率的优化。
（图示：达观VOC系统架构图及其工作流程）
接下来，我们将通过几个具体业务场景来展示达观VOC系统的信息挖掘和分析能力。
场景一：以卡车之家论坛的用户评论为例，通过品牌抽取、时间维度和声量统计，我们可以得到某品牌的整体声量走势分析。
场景二：同样以卡车之家论坛的数据为基础，通过品牌抽取、观点提取、情感分析以及时间维度，我们可以得到品牌的情感趋势分析。
在数据分析过程中，数据质量是决定系统水平下限的关键因素。为确保分析的准确性，达观的客户声音洞察系统采用了两种主要方式来处理和清理垃圾数据：一是基于规则的定向清洗，二是结合机器学习算法和人工反馈机制的智能清洗。