数字图书馆评价指标体系[全文]_数字图书馆的馆藏评价

数字图书馆评价指标体系[全文]由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“数字图书馆的馆藏评价”。

数字图书馆评价指标体系

赵悦/申晓娟/孙一钢

2012-10-28 15:01:28 来源：《数字图书馆论坛》(京)2011年7期

【英文标题】Digital Library Evaluation Indicator System

【作者简介】赵悦(1974-)，女，图书馆学硕士，国家图书馆中文采编部，副研究馆员，E-mail：zhaoy@nlc.gov.cn，北京100081；申晓娟(1970-)，女，武汉大学信息管理学院2009级博士生，武汉430072，国家图书馆研究院副院长，副研究馆员，E-mail：shenxj@nlc.gov.cn，北京100081；孙一钢(1961-)，男，国家图书馆馆长助理，研究馆员，E-mail：sunyg@nlc.gov.cn，北京100081

【内容提要】文章在对国内外数字图书馆评价指标进行分析的基础上，介绍了数字图书馆评价指标体系的构建目的及原则，提出了一套数字图书馆评价指标体系框架，并分析了评价指标体系应用的相关问题。

On the basis of analyzing the digital library evaluation indicators from domestic and abroad, this paper reviews the purposes and principles of constructing digital library evaluation indicator system, presents the framework of digital library evaluation indicator system, and introduces the use of the evaluation indicator system.【关 键 词】数字图书馆/评价/指标/体系Digital library/Evaluation/Indicator/System

数字图书馆作为基于网络环境的一种新的信息资源组织与服务方式，自20世纪90年代以来，在世界一些主要发达国家，乃至发展中国家都取得了长足发展。我国的数字图书馆当前也正处于快速发展阶段，一些重要的国家级数字图书馆，如国家数字图书馆、国家科学数字图书馆、中国高等教育数字图书馆、中共中央党校数字图书馆、中国农业数字图书馆等，都正在建设或服务过程中。在建或服务中的行业性、地区性数字图书馆项目更是如雨后春笋。

尽管各国政府都对数字图书馆投入大量人力、物力和财力，但是数字图书馆在很大程度上仍然无法满足用户的信息需求。数字图书馆建设者、开发者及数字图书馆服务提供者与用户之间存在着认知和理解的差异，这种差异造成用户在使用数字图书馆时无法获得有效服务，导致数字图书馆的效用受到制约。数字图书馆评价提供了这样一种方法、手段和机会，使数字图书馆的设计者、操作者和用户能通过评价来达到有效的沟通，以取得对数字图书馆理解的相对一致性，使数字图书馆具有更强的可用性，能更好地为用户服务，提高数字图书馆有效性。对数字图书馆评价的研究可以为数字图书馆系统工程的开发和部署提供决策参考，有助于检验一个数字图书馆为其用户提供的服务效用如何，从而引导数字图书馆的建设及其健康发展。国内外数字图书馆评价项目及其评价指标

与数字图书馆建设实践相比，数字图书馆评价方面的研究与实践还不够成熟。从目前现状来看，对数字图书馆进行全面系统的综合评价研究的项目并不多，大多是从电子馆藏、电子资源使用、电子资源服务等方面对数字图书馆建设的某一领域进行评价研究及实践。

1.1 国外项目及评价指标

国外数字图书馆评价方面的成果主要集中在研究项目和标准规范两大方面。研究项目方面具有代表性的主要有以电子资源及其使用评价为主的E-Metrics项目、以数字图书馆服务质量评价为主的DigiQUAL项目、以电子服务绩效评价及评价工具为主的EQUINOX项目等；标准规范主要有IS O2789﹕2006《信息与文献国际图书馆统计》(其中附件A是电子图书馆服务使用评价)以及COUNTER网络电子资源在线使用统计等。

(1)E-Metrics项目

E-Metrics项目，即电子图书馆评价项目，是2000年美国研究图书馆学会(简称ARL)启动的，旨在建立一套研究图书馆的电子资源及其使用的科学测度指标体系。E-Metrics项目的评价指标分为5类，共设置20个评价指标，其中包括17个统计指标和3个绩效指标。见表1[1]。

(2)DigiQUAL项目

DigiQUAL项目是在SERVQUAL、LibQUAL+的基础上发展起来的。SERVQUAL是一套应用于各类服务性机构的用户满意度测评体系，包括指标和方法；LibQUAL+是ARL 对SERVQUAL进行“图书馆化”修正研究而形成的对于传统图书馆服务质量进行评价的体系方法；而DigiQUAL是ARL为评价美国国家科学数字图书馆(简称NSDL)而开展的对数字图书馆服务质量评价进行研究的项目。该项目经过试验确定了评价数字图书馆服务质量的3个维度12个主题。3个维度是服务效果(effect of service)、信息控制(information control)、数字图书馆环境(library as place)；12个主题是可获取性(acceibility)、导航性(navigability)、互操作性(interoperability)、馆藏建设(collection building)、资源使用(resource use)、评价馆藏(evaluating collections)、数字图书馆用户社区(DL as community for users)、数字图书馆开发者社区(DL as community for developers)、数字图书馆评论者社区(DL as community for reviewers)、版权(copyright)、联邦作用(role of federations)、数字图书馆可持续性(DL sustainability)[2]。

(3)EQUINOX项目

EQUINOX项目，即欧洲图书馆绩效评价和质量管理系统项目，是针对欧洲图书馆发展和利用新的网络及电子资源的现状，基于传统评价，在质量管理的框架内开展的研究工作，项目包括两部分内容：一部分是设计一套用于普通复合图书馆电子服务绩效评价的指标体系：另一部分是设计一个用于质量管理与绩效评价的软件工具，图书馆可以将有关实际绩效和操作的原始数据输入系统，该系统利用这些数据可以计算出图书馆的绩效指标及预定目标的完成情况。EQUINOX项目的图书馆电子服务绩效评价指标的设计目的是为了加强和完善ISO 11620《信息与文献图书馆绩效指标》中传统图书馆服务的评价指标体系，以适应网络环境下图书馆对电子服务绩效评价的要求。项目最初形成的图书馆电子服务绩效评价指标体系包括34个指标，进一步的研究讨论认识到这些指标中的一部分归入ISO 11620标准中定义的传统指标更合理，还有的一些指标由于可获取性很差也被去掉了，最后于2000年12月形成了由14个指标组成的图书馆电子服务绩效评价指标体系。见表2[3]。

(4)ISO 2789：2006附件A

ISO 2789：2006《信息与文献国际图书馆统计》附件A：电子图书馆服务使用评价，主要是针对图书馆传统服务以外的电子服务的统计及评价，定义了电子图书馆服务的各种形式、电子信息资源的各种形式、电子服务利用的各种形式。内容包括电子馆藏的评估(Measuring the electronic collection)、利用评估(Measuring use)、电子服务(Electronic services)、电子服务利用(Use of electronic services)、数据调查(Survey data)等几大方面。

(5)COUNTER网络电子资源在线使用统计

COUNTER网络电子资源在线使用统计是由图书馆界、出版界和中间商共同发起的研究项目，其目的在于为在线信息服务商和用户提供可靠的、一致的、兼容的使用统计标准和方案。COUNTER目前已先后发布了“期刊和数据库实施规范”及“图书和参考资料实施规范”。

《COUNTER期刊和数据库实施规范》(第二版)规定了期刊的4个使用报告及数据库的3个使用报告。即期刊报告1：每月、每种期刊成功的全文请求量：期刊报告2：每月、每种期刊被拒绝的全文请求量；期刊报告3：每月、每种期刊、每种页面类型的各项请求与被拒绝量；期刊报告4：每月、每个集合的总的检索次数，包括被保存的、被修改的，以及检索结果为零的检索次数；数据库报告1：每月、每种数据库的总的检索及会话量；数据库报告2：每月、每种数据库的被拒绝请求量；数据库报告3：每月、每个集合的总的检索及会话量。

《COUNTER图书和参考资料实施规范》(第一版)规定了出版商必须提交的6个使用报告，即图书报告1：每月、每个题名成功题名请求量；图书报告2：每月、每个题名成功章节请求量；图书报告3：每月、每个题名拒绝请求量：图书报告4：每月、每种资源拒绝请求量；图书报告5：每月、每个题名总检索和访问量；图书报告6：每月、每种资源总检索和访问量[4]。

从以上几个研究项目及标准规范设置的评价指标可以看出，国外比较注重资源及其服务方面的评价，大多数评价项目及其指标都是基于此来设计考虑的。各项目或标准的评价指标设计比较实用，不只是理论上的探讨或是理想化的设计，定量与定性评价相结合，有些项目已充分考虑了数据的获取和分析，具有很强的操作性。

1.2 国内项目及评价指标

国内学者对数字图书馆评价的研究近年来也取得了一些成果，分别提出了一些评价标准及指标体系，但大多还局限在理论研究层面，进入可操作层面的研究成果较少，尤其是缺乏系统的对大型数字图书馆建设的综合评价以及对多个数字图书馆建设的比较评价研究。国内研究成果的评价指标设置一般较为全面，但对指标获取、数据分析等方面研究不够，这也导致了评价指标缺乏可操作性。

王海娟在《数字图书馆评价指标体系初探》一文中提出了将数字图书馆评价指标体系分为馆藏、技术、服务、管理四个方面，并提出了具体的评价要素和指标。馆藏评价包括馆藏自身情况(丰富性、可靠性、持久性、适用性、特色化)、馆藏组织情况(组织方式多样化、组织工具多样化、元数据的标准化、元数据的详尽程度)、馆藏管理情况(更新速度、资源整合能力、可持续发展能力)；技术评价包括系统技术(网络通信能力、安全性、互操作性)、信息检索技术(检索性能、检索技巧)、用户服务技术(用户操作技术的全面性、多语言支持能力、个性化服务能力)、界面设计(美感度、友好程度、导航功能)；服务评价包括服务范围、服务质量(信息检索效果、参考服务水平、服务的可获取性)：管理评价包括版权管理、标准化管理、合作与共享管理、经济效益管理、人员管理[5]。

常春在《数字图书馆项目评价研究》一文中提出了从用户角度、资源角度、系统角度、管理角度的数字图书馆项目评价的主要内容。从用户角度评价内容包括用户服务偏好、用户资源偏好、用户查询信息目的、网站日志分析、用户满意度、用户对评价的数字图书馆的认知度、目标用户使用率、用户动摇率、用户培训投入、多语言支持能力等；从资源角度评价内容包括资源规模、资源采购的经济性、资源对领域的覆盖率、资源质量、更新速度、知识挖掘深度、知识组织整合与揭示、资源的实用性等、数据格式的标准性、资源平均使用率、资源发展投入；从系统角度评价内容包括用户界面的易用性和美感度、系统的互操作性、系统响应时间、同类网站比较、系统实现和维护的标准化程度、系统运行的安全性、资源的保存技术、资源的检索技术、虚拟参考咨询运行情况、馆际互借实现情况、联合目录查询功能、系统服务器等硬件设备评价、系统设备投入、资源灾害保护等；从管理角度评价内容包括项目人员设置、知识产权的使用和保护、标准规范的遵循与建立、合作与共享的规划、用户人均服务成本、用户培训计划和实施、用户意见反馈机制、管理档案是否规范、管理成本投入、经费管理等[6]。

刘炜等人在《数字图书馆评估研究》一文中提出了“数字图书馆评估指标体系大纲（一、二级)”，按照数字资源、服务、管理和用户感知四方面的测度，给出了一、二两级指标的简单说明。数字资源方面的一、二级指标包括二次文献数据库数量(自建二次文献数据库数量、二次文献数据库保有量)、全文数据库数量(自建全文数据库数量、全文数据库保有量)、多媒体数据库数量(自建多媒体数字资源数量)、自建数字资源总量；服务方面的一二级指标包括供读者使用的计算机数量(供读者使用的上网计算机数量、无线上网服务)、网上参考工作提问数量(网上参考工作回答满意度)、网页/资源访问数(网页/资源访问用户数、资源查询数量)、注册用户数(注册用户占目标用户比例、注册用户使用率)、资源下载数(人均资源下载数)；管理方面的一二级指标包括电子资源总支出(电子资源支出占总资源支出的比例、资源使用单位成本、资源使用单位时间、电脑使用率)、资源使用的用户培训数量(受训人数所占比例)、工作人员培训情况；用户感知方面的指标包括满意度[7]。

吴建华设计的“211大学数字图书馆评价指标体系”经过多次咨询征集专家意见，设置了5个一级指标，24个二级指标。一级指标包括基础设施、资源配置、资源组织、资源利用、服务功能。其中基础设施包括5个二级指标，即网络带宽/出口速度、无线上网总量最大并发用户数、服务器数量、存储总容量、读者用计算机数量；资源配置包括4个二级指标，即综合数据库配置率、专业数据库对学科的覆盖率、数据库经费占图书经费的比例、电子图书及参考资料的数量；资源组织包括5个二级指标，即大学馆藏资源目录上网比例、电子资源整合入OPAC的比例、电子期刊导航、数据库导航、自建数字资源；资源利用包括5个二级指标，即图书馆网站访问量、数据库访问量、数字资源下载量、文献传递传入量、文献传递传出量；服务功能包括5个二级指标，即用户在校外资源的可访问性、统一检索、虚拟参考咨询台、个人数字图书馆、网上读者培训课程[8]。评价指标体系构建目的及原则

2.1 目的

图书馆评价与评估，最初主要是借鉴企业管理的经验，将其引入图书馆科学管理。国外图书馆评价与评估的理论与方法的应用始于20世纪40年代，在我国则始于20世纪80年代。图书馆评价与评估，是通过统一的标准与规范，对图书馆整体工作效果与效率进行考量与评价，最终达到衡量图书馆服务“产品”的质量，把握图书馆自身存在的社会价值，为提高图书馆科学管理决策提供依据。图书馆在不同历史时期的评价指标的内容，可以反映出某一个时期的图书馆工作的内涵，进而促进图书馆建设与发展。

借鉴传统图书馆评价与评估理念、方法，并将其应用到数字图书馆领域，建立一套数字图书馆评价指标体系，从而为数字图书馆确定规范、科学、统一的评价标准，制定系统、全面、易获取、易量化的评价指标，并按照科学的评价方法对数字图书馆进行评价。数字图书馆评价将有助于提高数字图书馆管理与决策水平，改进数字图书馆业务工作，改善数字图书馆服务，促进数字图书馆的发展。数字图书馆的发展与网络和新技术的发展紧密相连，发展速度比较快。在数字图书馆的建设与发展过程中，就对其进行评价与评估理论与指标体系的研究，对于数字图书馆的发展将起到很好的推动作用。

2.2 原则

数字图书馆是一个复杂的信息系统，其建设主体、建设内容、用户群体均较为复杂，并且随着技术的发展、理念的更新，其资源、服务、技术、管理等各方面也在不断发展完善之中，对其进行系统评价具有一定的难度，是一项颇具挑战性的工作。作者认为，数字图书馆评价指标体系构建要遵循以下几大原则：

(1)科学性原则

科学性是评价指标体系构建最基本的原则，数字图书馆评价指标体系要在充分调研、试验、修正的基础上确定，要能真实、客观、科学地反映数字图书馆发展的状况。

(2)系统性原则

数字图书馆评价指标体系要具有系统性，全面地反映一个数字图书馆系统的各个方面，并要考虑到数字图书馆的建设者、使用者、管理者等各种群体的不同视角。

(3)可行性原则

数字图书馆评价指标体系要具有可行性，评价指标数据应易于获取且尽可能地易于量化，评价指标不要过于复杂、求全，可操作性的评价指标才具有现实意义。

(4)可扩展原则

数字图书馆是在不断发展中的，其评价指标体系亦应是在不断完善中的，在体系最初构建时即应考虑到未来扩展的问题。

(5)模块化原则

对数字图书馆进行整体综合的评价是一项非常复杂的工作。在实践应用中，有些评价项目或实践可能只侧重不同的方面，如专门针对数字资源的评价或专门针对某一类服务的评价，在评价指标体系构建时要充分考虑到不同的应用需求，以模块化的方式，尽可能使评价指标能够灵活运用。评价指标体系框架

在对国内外关于数字图书馆的评价指标进行调研的基础上，结合我国数字图书馆建设实践，尤其是国家数字图书馆工程的建设，本研究初步建立了一套评价指标体系框架。该框架首先考虑了数字图书馆的四个核心要素，即馆藏、服务、技术、管理。此外，以图书馆等公益性文化机构为建设主体的数字图书馆快速发展，这些数字图书馆系统主要由政府投资，面向社会公众提供公共服务，对于这些数字图书馆系统而言，其综合效益的评价也日显重要。为此，本课题建立了包括馆藏、服务、技术、管理、综合效益五个维度的数字图书馆评价指标体系，每个维度由若干一级、二级和三级指标构成该维度的评价指标体系(见表3)。希望能够以此为基础，对国家数字图书馆等数字图书馆系统进行科学评价，从而促进我国数字图书馆建设的进一步发展与完善。

3.1 馆藏评价指标

馆藏评价指标以数字图书馆馆藏为评价对象，共包括4个一级指标、24个二级指标和若干三级指标。一级指标主要包括数字馆藏数量、数字馆藏质量、数字馆藏结构、数字馆藏效益。其中数字馆藏数量包括4个二级指标，即数字馆藏总量、数字馆藏年度增量、数字资源发布量和数字馆藏年度发布增量；数字馆藏质量包括7个二级指标，即学科保障率、核心资源率、资源重复率、资源完整率、馆藏时效性、资源规范性和资源功能性；数字馆藏结构包括8个二级指标，即来源结构、类型结构、发布结构、载体结构、学科结构、馆藏级别结构、语种结构和时间结构；数字馆藏效益包括5个二级指标，即资源保障率、资源利用率、人均拥有数字馆藏数量、并发用户数和使用成本。

3.2 服务评价指标

服务评价指标以数字图书馆服务为评价对象，共包括4个一级指标、17个二级指标和若干三级指标。一级指标主要包括服务能力、服务内容、服务成本和服务效果。其中服务能力包括6个二级指标，即服务范围、可访问数字资源、专门从事数字图书馆服务的人员、软硬件支持、服务方式、响应速度；服务内容包括3个二级指标，即个性化服务、用户培训、服务指南与宣传；服务成本包括2个二级指标，即图书馆成本支出和用户成本支出；服务效果包括6个二级指标，即服务公知度、用户比例、使用频率、访问时长、用户满意度和用户再次访问意愿。

3.3 技术评价指标

技术评价指标以数字图书馆技术为评价对象，共包括5个一级指标、21个二级指标和若干三级指标。一级指标主要包括基础环境、网络支撑、应用系统、系统安全和综合性能。其中基础环境包括4个二级指标，即终端服务计算机、服务器及服务器集群、存储和设备机房；网络支撑包括5个二级指标，即网络总体设计、综合布线、网络设备、网络系统性能和网络应用服务；应用系统包括3个二级指标，即数据库管理系统、操作系统和业务应用系统；系统安全包括6个二级指标，即安全体系、物理安全、网络系统安全、应用系统安全、应急预案与处理和备份与恢复；综合性能包括3个二级指标，即系统完整性与稳定性、系统健壮性与安全性、技术标准体系。

3.4 管理评价指标

管理评价指标以数字图书馆管理为评价对象，共包括6个一级指标、47个二级指标和若干三级指标。一级指标主要包括经费管理、人员管理、数字资源管理、用户服务、设备设施管理和综合评价。其中经费管理包括9个二级指标，即总经费预算(年度)、数字图书馆专项经费预算与维护经费预算、数字图书馆不同专项经费比率(年度)、数字资源采购/采集专项经费预算(年度)、数字资源知识产权经费预算(年度)、数字图书馆设备专项经费预算(年度)、数字图书馆服务专项经费预算(年度)、数字图书馆用户管理专项经费预算(年度)、数字图书馆建设中员工继续教育经费预算(年度)；人员管理包括6个二级指标，即全馆总人员配置(年度)、员工基本情况、从事数字图书馆业务人员与技术人员比例(年度)、从事数字图书馆业务正式人员与非正式人员比例(年度)、员工绩效评定与考核、从事数字图书馆专业人员培训；数字资源管理包括9个二级指标，即数字资源建设规划制定与实施、数字资源建设标准应用比例、数字资源采集与印本文献采集的重复率、数字资源内容学科分布比例、数字资源加工与整合单位内容成本、数字资源保存单位内容成本、长期保存与使用的数字资源比率、数字资源管理规章制度、在互联网发布数字资源与馆藏拥有比率；用户服务包括8个二级指标，即用户使用数字资源与印本文献用户数比率、用户使用数字资源的单位成本、用户使用数字资源的用户覆盖国家和地区、用户使用数字资源的品种覆盖率、对用户培训的数量占总用户的比率(年度)、用户使用数字资源的满意度、数字图书馆服务规范、数字图书馆宣传推广效率：设备设施管理包括9个二级指标，即数字图书馆使用设备设施总量(年度)、馆内计算机终端使用率(年度)、网络与系统正常运行时间(365*24)、网络与系统中断次数与时间(365*24)、硬件系统性能、网络服务能力、软件应用系统、系统安全与保障、设备设施管理与维护规章制度；综合评价包括6个二级指标，即数字图书馆建设目标设定、数字图书馆标准规范体系建立、数字图书馆可持续发展能力、数字图书馆可共享服务能力、知识产权保护体系的构建、数字图书馆资金利用率。

3.5 综合效益评价指标

综合效益评价指标以数字图书馆综合效益为评价对象，共包括6个一级指标、25个二级指标和若干三级指标。一级指标主要包括物质投入、人力投入、经费投入、利用程度、用户评价和社会效益，其中前三个指标是投入评价指标，后三个指标是产出评价指标。物质投入包括4个二级指标，即年人均新购电子文献量、年人均电子图书量、年人均电子期刊量、年购置数据库量；人力投入包括7个二级指标，即专业技术人员数量所占比率、管理人员所占比率、后勤人员所占比率、具有本科学历所占比率、具有研究生以上学历所占比率、中级职称所占比率、副高以上职称所占比率；经费投入包括4个二级指标，即年电子文献资源购置经费、年设备购置费、年维修费(网络资源维护、设备设施维护费等)、其他费用(办公费、资源共享费及通讯费)；利用程度包括3个二级指标，即人均电子资源点击下载量、年文献传递量、年虚拟参考咨询量；用户评价包括2个二级指标，即服务人员提供服务的情况、设施设备运行使用的状况；社会效益包括5个二级指标，即年人口流动率、宣传培训次数、管理服务理念、网站评价排名、社会影响力。评价指标体系应用

4.1 评价方法

评价方法是数字图书馆评价的重要内容，直接影响着评价指标体系应用的效果。数字图书馆是非常复杂的信息系统，其评价指标亦较为复杂，因此数字图书馆评价方法应具有综合性、多样化的特点。

(1)定量评价与定性评价相结合

按照数字图书馆评价指标的设计，数字图书馆评价应采取定量和定性相结合的方法，以定量评价为主，定性评价为辅。

(2)专家评价与用户评价相结合

数字图书馆是综合性的信息服务系统，其评价主体不仅需要有专家，从专业角度对数字图书馆的资源、服务、技术、管理、效益等进行评价，也需要数字图书馆的最终使用者——用户来对数字图书馆进行评价，尤其是服务评价，用户是最有发言权的评价者。

4.2 评价流程

在应用数字图书馆评价指标体系即评价标准对某一或某些数字图书馆进行评价时，一般按照以下六大流程开展评价。

(1)确定评价主体，根据实施评评价目的，选择确定评价主体，如聘请专家、确定选择用户的方法。

(2)确定评价指标，可以根据待评价数字图书馆的规模、特点等，在评价指标体系内选择某一或某几方面的指标作为本次评价活动的基础指标，在此基础上根据评价对象特征对指标作进一步细化。

(3)确定权重系数，根据评价目的及评价对象的特点，确定各项指标的权重系数，权重系数的确定将直接影响评价结果，因此非常重要。

(4)评价数据获取，包括定性数据和定量数据获取，可采用问卷调查、访谈、网络统计等多种方法获取评价数据。

(5)评价数据处理，对获取的数据进行处理转换，以便于分析研究，其中比较复杂的是对定性数据的量化处理。

(6)评价结果分析，对评价数据进行综合分析，论证本次评价是否有效，得出评价结果，出具评价报告。

4.3 评价指标修订

只有经过实践检验，才能真正验证数字图书馆评价指标体系的科学性。随着评价客体—数字图书馆的不断发展，其评价指标也需要不断完善修订。本研究制定的评价指标将在数字图书馆评价的具体实践应用中继续进行修订完善，以建立一套真正符合我国数字图书馆发展的数字图书馆评价指标体系。

【参考文献】

[1]ASSOCIATION OF RESEARCH LIBRARIES.MEASURES FOR ELECTRONIC RESOURCES(E-METRICS)COMPLETE SET[R].2002.[2][OL].[2011-05-03].http://www.daodoc.com/.[4][OL].[2011-05-03].http://www.daodoc.com/.[5]王海娟.数字图书馆评价指标体系初探[J].图书馆工作与研究，2004(1)：13-17

[6]常春.数字图书馆项目评价研究[J].农业图书情报学刊，2008(2)：99-101，184

[7]刘炜，等.数字图书馆评估研究[J].图书情报工作，2007(5)：21-24，69

[8]吴建华.数字图书馆评价方法[M].北京：科学出版社，2009：209