数字图书馆中的数字资源除文本外，还有大量的以图像、视频、音频等多媒体为载体的非结构化的数据，因此需要从中 提取出特征，建立起快速有效的索引机制，以及提供有效的检索手段，开发出更先进的面向多媒体文档的搜索引擎，以 适应从浩瀚的数字图书馆海洋中快速而有效地检索出符合要求的多媒体文档。对于如书画库、工艺美术史料库等多媒体 资源，提供多媒体数据访问能力具有特别重要的意义。
开发的内容将针对不同的媒体展开，包括：
（1）图像分析系统：提取图像的颜色、纹理等低层特征，建立索引，提供基于图像例子的查询功能；
（2）视频分析系统：视频的结构化，提出以视频?场景?组?镜头?关键帧的5层层次结构，对视频进行
自动的镜头分割和关键帧的提取，开发根据视频片段进行的视频相关反馈检索。该项技术对于数字图书馆中视频文档的储存、浏览等 功能的实现具有重要的作用。
（3）音频分析系统：音频特征提取，类似于视频帧，分离出音频帧，对音频特征进行分类。
（4）高层语义的提取：采用数据挖掘、多媒体信号分析等技术，如对视频进行挖掘，提取感兴趣的事件从 而获得语义。结合以上的多项技术，多媒体检索将提供如下功能：
（1）基于文本的查询：用户可以使用简单的关键字和词组对包括图像、视频、音频在内的多媒体数据进行查询。此功能 是通过匹配用户查询和多媒体数据的文本描述来实现的。其中，多媒体数据的描述主要通过采用数据挖掘和自然语言处 理技术从原始的数字图书中提取，并可通过手工标注进行补充。此查询方式能够满足大部分用户对多媒体数据的需求， 同时使用界面简单友好。
（2）基于内容的查询：将利用基于内容的检索技术（CBR）提供基于多媒体数据底层特征的查询功能。提供相关反馈技 术对图像、视频、音频等媒体进行检索。
（3）智能化数据导航/浏览：检索模块中嵌入了不同多媒体数据的标准浏览/播放模块, 使用户可以通过交互接口方便地 浏览多媒体数据, 如对视频媒体的浏览将提供结构化层次的形式，对音频媒体的浏览将提供音频片段的形式。此外，当 用户对某一多媒体资源进行浏览的时候，还将提供与此资源相关的其他多媒体/文本资源的链接，使用户能够迅速方便 地访问某一主题的全部信息。
进入子系统-->
