企业架构队列缓存中间件分布式Redis
学习目标和内容
- 能够描述Redis作用及其业务适用场景
- 能够安装配置启动Redis
- 能够使用命令行客户端简单操作Redis
- 能够实现操作基本数据类型
- 能够理解描述Redis数据持久化机制
6、能够操作安装php的Redis扩展
7、能够操作实现Redis主从模式
一、背景描述及其方案设计
业务背景描述
时间：2016.9.-2017.6
发布产品类型：互联⽹动态站点 商城
⽤户数量： 10000-12000（⽤户量猛增）
PV ： 100000-500000（24⼩时访问次数总和）
QPS： 50-100*（每秒访问次数）
DAU： 2000（每⽇活跃⽤户数）
用户统计每日活跃用户（登录用户）数量
key=>value
模拟运维设计方案
根据以上业务需求，准备加入Redis缓存中间件服务器，可以使用到redis更加丰富的功能
在商城业务中实现：
①实现活跃用户数的统计（使用set集合）
二、Redis介绍
1、介绍
Nosql 非关系数据库 key => value 键值对
Redis是Remote Dictionary Server(远程数据服务)的缩写
由意大利人 antirez(Salvatore Sanfilippo) 开发的一款 内存高速缓存数据库
该软件使用C语言编写,它的数据模型为 key-value
它支持丰富的数据结构，比如 String list（双向链表） hash（哈希） set（集合） sorted set（zset有序集合）
可持久化（保存数据到磁盘中），保证了数据安全
2、业务使用场合
①[Sort Set]排行榜应用，取top n操作，例如sina微博热门话题
②[List]获得最新N个数据 或 某个分类的最新数据
③[String]计数器应用
④[Set]sns(social network site)获得共同好友
⑤[Set]防攻击系统(ip判断)等等
对比memcached
①Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
②Redis支持master-slave(主—从)模式应用。
③Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。
④Redis单个value的最大限制是1GB， memcached只能保存1MB的数据
⑤redis是单核，memcached是多核
由于redis只能使用单核，而memcache可以使用多核，所以在比较上，平均每一个核上redis在储存小数据时比memcache性能更高。而却100K以上数据中，memcache性能要高于redis，虽然redis最近也在储存大数据的性能上进行优化，但是比起memcached还是有点逊色。结论是无论你使用那个，每秒处理请求的次数都不会成为瓶颈。
你需要关注内存使用率。对于key-vlaue这样简单的数据储存，memcache的内存使用率更高，如果采用hash结构，redis的内存使用率会更高，当然这都依赖于具体的应用场景
安装和配置
官方网址：https://redis.io/
github: https://github.com/antirez/redis
安装方式介绍
可以通过yum方式在线安装
也可以通过源码编译方式安装
这里，采用源码编译方式安装
源码编译安装
①上传或者下载软件到目录中
②解压编译安装
shell > tar xvf redis-4.0.1.tar.gz
shell > cd redis-4.0.1
shell > make PREFIX=/usr/local/redis install
启动查看
默认端口6379
show giril chinajoy 上海 cosplay
https://www.cnblogs.com/qianqianchen/p/6021462.html
后台启动配置
①复制配置文件到软件目录下
②修改编辑配置文件
shell > vim /usr/local/redis/bin/redis.conf
③启动redis-server加入redis.conf参数
命令行客户端简单使用
telnet可以连接redis，没有本身redis-cli更加好用
①简单的数据操作
②系统状态信息
数据结构类型操作
数据结构 存储数据的方式
数据类型
算法 取数据的方式 代码就把数据进行组合、计算、存储、取出
排序算法 冒泡 堆排序 二分
1、key
key的命名规则不同于一般语言，键盘上除了空格、\n换行外其他的大部分字符都可以使用
像“my key”和“mykey\n”这样包含空格和换行的key是不允许的。
我们在使用的时候可以自己定义一个Key的格式。
例如 object-type🆔field
Key不要太长。占内存，查询慢。
Key不要太短。像u:1000:pwd 就不如 user:1000:password:123456 可读性好
默认在redis中，提供了16库
查看配置文件
String
string是redis最基本的类型
redis的string可以包含任何数据。包括jpg图片 base64或者序列化的对象
单个value值最大上限是1G字节
如果只用string类型，redis就可以被看作加上持久化特性的memcache
List
key value(value1,value2,value3)
list类型其实就是一个双向链表。通过push,pop操作从链表的头部或者尾部添加删除元素
这使得list既可以用作栈，也可以用作队列
同一端进出 先进后出 栈
一端 另外一端出 先进先出 队列
首部（左 left） 尾部（右right）
需求：显示最后登录的几个用户
设计实现：①登录一个用户，把用户名称或者id存储在list中
②从头部（左部）存，从头部取（右部）
用户：xiaoming xiaohua xiaobaitu
Key名称：lastlogin
实现：
①最后登录的用户
②第一个登录的用户
栈操作
队列操作
4、set
redis的set是string类型的无序集合。集合里不允许有重复的元素
set元素最大可以包含(2的32次方-1)个元素。
关于set集合类型除了基本的添加删除操作，其他有用的操作还包含集合的取并集(union)，交集(intersection)，差集(difference)。通过这些操作可以很容易的实现sns中的好友推荐功能。
需求：实现朋友圈的存储和共同好友的计算
设计：
key value
xiaomingFR xiaohong xiaoqiang xiaogang xiaohei xiaobai
xiaohongFR xiaoming xiaolv xiaolan xiaobai xiaohei
实现：
交集 查看xiaohong和xiaoming的共同好友
并集 计算所有的朋友数量
差集 互相介绍好友
使用set建立黑名单（白名单）
Nginx+lua+redis 实现访问攻击黑名单
5、zset
和set一样sorted set也是string类型元素的集合，有序集合，元素不允许重复
不同的是每个元素都会关联一个权。
通过权值可以有序的获取集合中的元素，可以通过score值进行排序
需求:实现手机APP市场的软件排名
设计：
Key : hotTop
id Score data
1 2 QQ
2 3 wechat
3 5 alipay
4 7 taobao
5 10 king
6 8 jd
score从小到大，jd排第5位，超过第4位taobao的排名
①获取jd的score，taobao的score
②score从小到大排，jd的score调整到比taobao的score小
8 +（-2) = 6
Hash
使用redis做缓存，可以使用hash结构，压缩效率和使用效率更高，比string
Hash存储数据和关系型数据库（mysql），存储的一条数据的结构极为相似
Key：value（field：value）
devops：(username:devops,phone:15313131313,email:123456\@qq.com)
17301296261:(username:17301296261,phone:17301296261,email:devops\@qq.com)
数据持久化操作
数据 持久化（数据在服务或者软件重启之后不丢失）
如果数据只存在内存中，肯定会丢失，实现持久化，就需要把数据存储到磁盘中（hdd ssd）
snappshoting（快照）
默认snappshoting是开启的，有一个备份的频率
通过查看配置文件可以看到
备份文件
测试备份频率
在5分钟内，进行10key的改变，查看备份效果
手动数据备份
127.0.0.1:6379> SAVE
数据恢复
如果需要恢复数据，只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可
2、append only file
aof的备份频率
①开启aof
开启aof后，之前的redis里的数据会丢失
重启redis服务
②查看aof效果
六、实际案列使用
1、主从模式
缓存集群架构示意图
server08 master 192.168.17.110
server09 slave 192.168.17.111
①master配置
shell > vim /usr/local/redis/bin/redis.conf
开启监听，在网络中与其他服务器进行网络交互的网卡，默认eth0
bind的ip指的是其他的主机需要和这个主机通讯的ip（这个的主机）
重启服务器并查看是否启动成功
②slave配置
shell > vim /usr/local/redis/bin/redis.conf
重启服务器并查看是否启动成功
③查看效果
Tip：
slave不允许写操作
是因为配置文件里进行了slave read-only设置，也是符合业务的使用需求
2、安全限制
IP限制登录
①打开配置IP限制
注意如果有防火墙，先关闭防火墙，或者开启端口限制
bind ip 监听绑定网卡的IP
shell > vim /usr/local/redis/bin/redis.conf
重启服务，检测是否启动成功
②远程连接测试
密码验证
①修改配置文件
shell > vim /usr/local/redis/bin/redis.conf
重启服务并检查是否启动成功
②测试密码登录
Tip：如果开启了密码限制，搭建主从需要在slave配置中填写master密码
PHP扩展安装
①解压编译安装
shell > tar xvf redis-3.1.4RC1.tgz
shell > cd redis-3.1.4RC1
shell > phpize
shell > ./configure && make && make install
②配置文件php.ini开启
shell > vim /usr/local/php/etc/php.ini
③重启php-fpm服务器查看phpinfo
shell > service php-fpm restart
查看phpinfo，需要编写一个php文件内容如下
<?php
phpinfo();
通过浏览器访问编写的php文件页面,ctrl+f在搜索框里输入并查看
RedisDesktopManager客户端
①新建连接
②简单操作
添加、修改，筛选
活跃用户统计
①在用户登录的时候，把用户的username写入redis的set中
login.php和Index.php删除，上传到以下目录
login.php
Index.php
显示的需要获取的数据
register.html删除并上传到以下目录
为了能够看到整个效果，可以注册一些用户
②通过获取set的元素个数和详细，了解到用户活跃数，和活跃用户
操作登录
查看活跃用户数
session存入redis
