基于深度学习的敏感图片的获取系统设计
摘 要
国家信息化战略实施以来，我国信息化、现代化建设取得了飞跃性的突破。但是，随着这些年，信息化程度越来越高，网络环境越来越复杂。对于网络这把双刃剑，它对社会极为不利的一面也愈加地凸显出来。比如已经多次出现的网络言论攻击，导致很多明星不得不关闭评论功能；比如做游戏，需要处理一些玩家的欺诈交易信息，以及非法言论及辱骂；再比如全军多次清查有关违纪违规的高级领导干部的网上文件、书籍和报纸等等，以防影响部队的风气。由此可见，在于当代网络环境下，对于用户言论行为进行规范是多么迫切的一个任务，因此，我们不得不制定出一套解决方案和系统。
本文通过借助于某些第三方机构统计出的高频敏感词汇之外，还可以自己进行敏感词汇库的及时更新操作，便于随时对网络上出现的新兴词汇进行过滤屏蔽。主要使用IDEA、B/S结构和UML建模技术等等技术来开发系统。主要实现的功能是用户登录、用户退出、用户权限管理、增加敏感词汇、删除敏感词汇、修改敏感词汇、敏感词汇列表展示、数据库监控、操作日志管理。
本课题旨在对网上言论的一些敏感词汇进行过滤和拦截，以起到净化网络环境的作用。对于国家而言，他能够在一定程度上防止外国文化对本国文化的冲击；对社会而言，它能够维护社会秩序安全稳定，对个人而言，营造一个纯净，和谐的网络环境。
关键词： 敏感词汇；过滤；搜索
ABSTRACT
Since the implementation of the national informatization strategy, China's informatization and modernization have made a breakthrough. However, with the increasing degree of informatization these years, the network environment is more and more complex. For the double-edged sword of the Internet, its most unfavorable aspect to the society is also increasingly highlighted. For example, a number of online speech attacks have resulted in many stars having to shut down their commentary functions, such as playing games, dealing with some players' fraudulent transaction information, and illegal remarks and abuses; and, for example, the army has repeatedly checked the online documents, books and newspapers of the senior leaders of violations and regulations to prevent the force. This shows how urgent it is to regulate the user's speech and behavior in the contemporary network environment. Therefore, we have to formulate a set of solutions and systems.
In addition to the high frequency sensitive vocabulary of some third party organizations, this paper can also update the sensitive vocabulary database in time to facilitate the filtering and shielding of the emerging vocabulary on the network at any time. It mainly uses IDEA, B/S structure and UML modeling technology to develop the system. The main functions are user login, user exit, user authority management, increasing sensitive vocabulary, deleting sensitive vocabulary, modifying sensitive vocabulary, sensitive vocabulary list display, database monitoring, and operation log management.
The purpose of this project is to filter and intercept some sensitive words on the Internet, so as to play a role in purifying the network environment. For the state, he can, to a certain extent, prevent the impact of foreign culture on its own culture; for society, it can maintain the security and stability of the social order and create a pure and harmonious network environment for individuals.
KEYWORDS: Sensitive vocabulary; filtering; search
目 录
摘 要 I
ABSTRACT III
图 目 录 VII
表 目 录 IX
第一章 绪 论 1
1.1 研究背景及意义 1
1.1.1 研究的背景 1
1.1.2 研究的意义 1
1.2 国内外研究现状 2
1.2.1 国外研究现状 2
1.2.2 国内研究现状 2
1.3 本文主要工作 2
1.4 章节安排 3
第二章 开发环境和技术介绍 5
2.1 系统开发环境 5
2.1.1 Java 5
2.1.2 MySQL 5
2.1.3 IDEA 5
2.1.4 Velocity 6
2.1.5 Druid 6
2.1.6 Bootstrap 7
2.2 B/S结构简介 7
2.3 UML建模技术简介 9
2.3.1 UML的静态建模机制 9
2.3.2 UML的动态建模机制 10
2.4 本章小结 10
第三章 系统分析与总体设计 11
3.1 系统分析 11
3.1.1 需求分析 11
3.1.2 可行性分析 11
3.2 系统总体设计 13
3.2.1 系统设计思路 13
3.2.2 系统功能结构 13
3.2.3 用户信息拦截过滤模拟系统 14
3.2.4 系统工作业务流程 14
3.3 数据库设计 16
3.3.1 数据库设计 16
3.3.2 数据库表设计 19
3.4 本章小结 22
第四章 系统详细设计与实现 23
4.1 用户登录模块 23
4.2 系统主界面 24
4.3 用户管理模块 25
4.4 角色管理模块 26
4.5 权限管理模块 26
4.6 系统监控管理模块 27
4.7 敏感词管理模块 28
4.8 敏感词拦截模拟模块 29
4.9 本章小结 29
第五章 系统测试 31
5.1 测试环境 31
5.2 测试目的 31
5.3 测试方法 32
5.4 测试项目表 32
5.4.1 对用户登录的测试 32
5.4.2 对用户管理的测试 33
5.4.3 对角色管理的测试 35
5.4.4 对权限管理的测试 38
5.4.5 对系统监控管理的测试 40
5.4.6 对系统操作日志的管理测试 40
5.4.7 对敏感词汇管理的测试 41
5.4.8 对敏感词汇模拟拦截的测试 43
5.5 测试结果 44
5.6 本章小结 44
第六章 总结与展望 45
致 谢 47
参考文献 49
附录A 主程序代码 51
个人简历和在学期间的研究成果 53
图 目 录
图2-1 MVC架构交互模式 8
图3-1 敏感词汇过滤拦截系统 14
图3-2 系统业务流程图 15
图3-3 敏感词过滤拦截系统的用户用例图 16
图3-4 角色实体属性图 17
图3-5 用户角色关系实体属性图 17
图3-6 权限实体属性图 18
图3-7 敏感词汇实体属性图 18
图3-8 系统日志信息实体属性图 19
图3-9 角色权限实体属性图 19
图4-1 用户登录界面 24
图4-2 用户登录流程图 25
图4-3 系统主界面 25
图4-4 用户管理界面 26
图4-5 添加用户流程图 27
图4-6 角色信息列表界面 27
图4-7 权限分配界面 28
图4-8 系统监控管理界面 28
图4-9 敏感词管理界面 29
图5-1 登录成功 33
图5-2 登录失败 33
图5-3 添加用户界面 34
图5-4 添加用户数据不符合校验规则 35
图5-5 添加角色界面 36
图5-6 添加角色错误提示界面 37
图5-7 添加角色输入正常的信息 38
图5-8 角色列表界面 38
图5-9 添加角色输入正常的信息 39
图5-10 权限列表页 40
图5-11 系统监控界面 40
图5-12 系统日志列表 41
图5-13 敏感词汇列表 41
图5-14 敏感词添加错误提示 42
图5-15 敏感词编辑界面 43
图5-16 敏感词删除提示界面 43
图5-17 含有敏感词处理结果界面 44
图5-18 不含有敏感词处理结果界面 44
表 目 录
表3-1 角色表（role） 21
表3-2 角色权限表（role_permission） 21
表3-3 用户信息表（user） 22
表3-4 权限表（permission） 22
表3-5 敏感词汇表（sensitive_keywords） 23
表3-6 操作日志表（sys_log） 23
表3-7 用户角色表（user_role） 23
表5-1 测试项目表 43
主要缩略词说明
英文缩写 中文名称 英文名称
SIFT 斯坦福信息过滤工具 Stanford Information Filtering Tool
MVC 模型-视图-控制器 Model View Controller
HTML 超级文本标记语言 HyperText Markup Language
WS 网络风暴 WebStorm
CSS 层叠样式表 Cascading Style Sheets
JDBC java数据库连接 Java DataBase Connectivity,java
UML 标准建模语言 Unified Modeling Language
第一章 绪 论
1.1 研究背景及意义
1.1.1 研究的背景
21世纪是以信息化主导的时代，信息技术不断发展创新，并且普及度也非常广，这也不断影响着人们的生活方式。近几年，国家紧抓信息化建设和大力发展信息化产业，各个地方政府也是极力的提出建设本地信息技术产业园，比较出名的如武汉光谷高新技术产业园，无锡太湖国家传感科技园等等，国内信息科技行业发展的态势也是生机盎然，比如新起之秀——小米，短短几年时间就有了自己的手机处理器，创造的神话也颇多。但是，随着信息化向产业化转变的过程中，各种负面的影响也层出不穷，逐渐的展现出来。比如网络言论的大爆发，从2011年以来，微信完全取代了过去电话，短信的交流方式，已经占据了社交的半壁江山；另外，新浪微博的兴起，导致大家言论更加自由化，信息及时化……但是，随着海量信息的出现，对于网络信息安全和言论规章制度的管控，是一个繁复的任务。
近几年，大V明星被黑事件频频发生，经常由于大家的评论导致不得不关闭留言；当然还有人因为人们言论攻击不堪重负而导致的种种悲剧……
1.1.2 研究的意义
在军队建设方面，对于一些言论的管控应该更加严格，因为这不仅仅是军队思想和党性的问题，更从另一个更高的层面上说，这是为人民服务的前提——首先你的价值观得正确，在网络使用一些敏感词过滤和拦截，有助于提升价值观的纠正和引导。
我国现在是提倡和谐民主，军队对于加强敏感词汇过滤方面应该有更高的远见和共识，对于出现的敏感词汇进行过滤拦截刻不容缓。此系统虽然不能在如今变化迅速的网络时代起到完全杜绝的作用，但是能从一定程度上对人们的发表言论进行约束和提醒。
1.2 国内外研究现状
1.2.1 国外研究现状
国外的信息化建设起步快、成型早并且拥有先进的技术和丰富的资源，所以信息化的水平相比国内也要高，利用的范围也比较广泛。
现阶段，敏感词汇监测与过滤技术引起了各国的高度重视，在政府机关的大力支持下，以敏感信息监测与过滤为目的的应用系统大量涌现。Stanford大学的Take.Yen和Hector Garcia-Mina研发了一套基于内容的过滤系统SIFT，此系统可以让每名用户自主创建词汇数据库，同时运用向量空间模型和关键字匹配来达成用户需求与网络信息之间的匹配。美国国家安全局为了进一步对恐怖组织的各种军事威胁实行严格监控而构建了 “Echelon”通信监视网络，它借助卫星接收站和间谋卫星来拦截检测大量电话、传真和电子邮件等个人信息。Echelon也是一个基于敏感关键词检索来获取通信电子通信系统。
不过相对于一些科技大国来说，比如美国是一个比较相对言论自由的国家，比如总统可能经常在Facebook上发表一些带有个人言论色彩和调侃的言论，因此，由于地域文化的差异，在敏感词管理这一方面，并没有特别的要求。因此，他们在这一点上并没有系统地进行把控。
1.2.2 国内研究现状
对于该论题，目前国内一直处于不断的思考和完善当中。虽然有部分已经成型的过滤系统，但是只针对商业化用途，对于大家没有太大的吸引力。另外，各个服务商之间的敏感词过滤规则也不一致，对于可变性较高的当前网络形势下，也不是百分百的可靠和可用。
对于敏感词的过滤大战，从来就没有休止过。另一方面，由于现代人思想越来越活跃，很多敏感词汇的近义词、变体词，以及中英文混合等等都被搬了出来。屏蔽过滤和新生发明的速度是完全不协调的，虽然说不可能完全消灭，因为他是一些粗鄙思想的产物，但是我们可以通过一系列的技术手段来进行有效的隔离和抑制，在一定程度上对现阶段这个局面进行控制，将敏感词对社会造成的危害尽量降到最低程度。
我国随着敏感信息检测技术的日益成熟，某些科研机构、高等院校和技术公司通过系统化的技术整合研究，也发布了许多的原型系统和商业产品。例如中科天巩公司依托中国科学院计算技术研究所经过十余年的深入研究设计开发的天机网络网页关键字监测系统，其产品现已发布3.0以上版本。2009年1月国内首个网络网页关键字安全研究机构网络网页关键字安全研究中心在北京交通大学成立了。现在正着重于推动网络网页关键字产生、传播和导控等方向性研究和自主网络舆论安全关键技术的研究。分布式计算实验室与北京理工大学网络研发了网络网页关键字分析与预警平台。北大方正技术研究院设计研发了方正智思网页关键字预警辅助决策支持系统，着重于离线的网页数据实行网页关键字自动分析和预报，统筹规划网页关键字监控内容，实现了一个具有生命特征的周期往复的社情民意反馈系统。谷尼国际软件(北京)有限公司南京大学网络传播中心的网络网页关键字监测协同创建了网页关键字研究基地，有关Goonie网页关键字监测分析系统也正在国家性课题——“网络舆论引导能力建设研究”中起到了重要作用。
1.3 本文主要工作
在对目前国内存在的敏感词过滤拦截系统的研究分析，发现目前其在管理上存在的不足，根据前期调查，完成了对系统的分析。在分析的基础上，结合B/S网络结构以及Java开发语言等相关技术，完成了系统的设计，并实现了大部分功能的开发。本文主要完成的工作如下：
（1）分析当前形势下已有系统存在的问题，提出改进系统的预期目标，完成对系统的需求分析。
（2）根据系统设计的原则，从多角度分析系统的可行性，并完成总体框架的设计。
（3）根据不同用户的所拥有的权限以及可以使用的功能，完成对本系统的设计，并利用相关技术，对系统的主要功能进行实现。
（4）根据软件系统测试的方法和原则，完成对系统的测试，并根据测试的结果，找出存在的不足以及下步应努力的方向。
1.4 章节安排
第一章绪论中的研究背景和意义：重于侧重于明确论文的研究背景和意义。同时借助于学校图书馆与互联网的资料来了解分析国内外的研究现状，并确定努力的方向。
第二章开发环境和技术介绍：着重于对系统开发环境以及部分技术架构了解熟悉并介绍。
第三章系统分析与总体设计：一方面是对系统的需求和可行性两个方面分析，另一方面是在分析的基础上，再对对系统的主要功能进行了简单介绍，最后对系统的各个模块进行了设定。
第四章系统详细设计与实现：着重于对系统中的各个模块进行实现，以及设计数据库表结构。
第五章系统测试：着重于对系统的各种功能运行情况进行反复测试。
第六章总结与展望：归纳总结了论文的主要工作以及分析了存在的不足，确定下一步努力改进的方向。
参考文献
[1]陈忠. 面向校园网络的个性化学习系统的研究与开发[D]. 华南理工大学, 2011
[2]新华网. 全球著名网络教育平台服务商携手中国教育网共创网络教学新模式[N]. 新华社2003-09-04
[3]佟宇川. 移动医疗信息采集系统的设计与实现[D]. 大连理工大学, 2014
[4]赖竹君, 黄国权. “家庭医生”软件系统的设计[J]. 广东药学院医药信息工程学院, 2013
[5]林建伟. 高校排课选课系统的设计与实现[M]. 《计算机光盘软件与应用》2012, (8)
[6]刘洁明. 基于三层C/S结构的银税数据传输系统的研究[D]. 中南大学, 2015
[7]高少航. ASP.NET及SQLServer的基本应用[M]. 《电脑知识与技术:学术交流》2010, 6(10)
[8]王春梅. 基于i<'*>和uml的面向agent需求建模框架研究[M]. 合肥工业大学, 2008
[9]彭凌西, 武刚, 黎明. 利用RATIONAL ROSE快速建立面向对象的应用模型[M]. 《计算机科学》2002
[10]张奎. 基于j2ee的选课系统[M]. 北京工业大学, 2009
[11]朱冠华, 钟鸣. 扩展UML状态图在状态时限描述中的应用[J]. 《科技信息》2009, (9):9-9
[12]刘建. 企业人事管理系统的开发[M]. 《黑龙江科技信息》2008, (9): 70-70
[13]赖跃璇. 管理信息系统实施失败原因分析[J]. 《科学时代》2013, (7)
[14]互联网. er图是什么[J]. 互联网数据
[15]苏正泉. 软件测试的10个认识误区[J]. 《电脑知识与技术:学术交流》2006, (5):149-149
[16]朱连军, 田有贵. 软件测试中的等价划分法[J]. 《安阳师范学院学报》2012, (5)
[17]王璐. sigma for mq补丁包测试流程设计及实现[M]. 大连理工大学, 2011
[18]郭晓丹. 软件测试技术理论与方法高效率化探讨[N]. 《黑龙江科技信息》2011, (10)
