组件与中间件 on 杨刚的个人网站

1、Redis

Wed, 11 Dec 2024 00:00:00 +0000

数据库概述
#

数据库分为关系型数据库，非关系型数据库

1、ElasticSearch

Sat, 11 Nov 2023 00:00:00 +0000

全文检索
#

MySQL存储数据时，采用表格的方式（行和列）的方式来进行存储
Redis存储数据时，采用K-V结构的方式来进行存储
当数据量非常庞大时（T，P级），提升查询效率

需求
#

说：Redis简单，知道Key就可以，但如果其他人问你说我不知道Key，我只是知道大概的值，如何提升效率？

1、Nginx+Tomcat集群

Sat, 11 Nov 2023 00:00:00 +0000

Tomcat存在的问题
#

1、Tomcat：一种轻量级的WEB容器，它的适用场景中小型系统或者并发量不高的系统，它是apache平台与Sun公司一起合作开发出来的，专门支持Servlet的一种WEB容器

1、RabbitMQ

Sat, 11 Nov 2023 00:00:00 +0000

消息队列
#

MQ是消息队列服务器，产品：ActiveMQ，RabbitMQ，RocketMQ，Kafka……

2、集群的实现，动静分离

Wed, 03 Apr 2024 00:00:00 +0000

Nginx的使用
#

Nginx启动
#

//在Nginx的目录下使用dos命令
start nginx.exe  #启动nginx
nginx -s reload  #nginx可以重新加载文件
nginx -t #查看配置文件是否有错
nginx -s stop #停止nginx

Nginx整合Tomcat，并实现动静分离（单个Tomcat）
#

修改nginx.conf文件
#

listen：表示当前的代理服务器监听的端口，默认的是监听80端口。注意，如果我们配置了多个server，这个listen要配置不一样，不然就不能确定转到哪里去了。
server_name：表示监听到之后需要转到哪里去，这时我们直接转到本地，这时是直接到nginx文件夹内。
location：表示匹配的路径，这时配置了/表示所有请求都被匹配到这里
root：里面配置了root这时表示当匹配这个请求的路径时，将会在这个文件夹内寻找相应的文件，这里对我们之后的静态文件伺服很有用。
index：当没有指定主页时，默认会选择这个指定的文件，它可以有多个，并按顺序来加载，如果第一个不存在，则找第二个，依此类推。

server {
    listen 80;
    #为虚拟服务器的识别路径。因此不同的域名会通过请求头中的HOST字段，匹配到特定的server块，转发到对应的应用服务器中去。
    server_name localhost:8080; 
    # proxy_pass:它表示代理路径，相当于转发，而不像之前说的root必须指定一个文件夹
    location / {
        root   html;
        index  index.html index.htm;
        proxy_pass http://localhost:8080;
    } 
    #静态文件交给nginx处理
    location ~ .*\.(js|css|htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
    {
        root  G:/work/2018/prj04/src/main/webapp;
        expires 30d;
    }
    # 动态请求由反向代理分配去哪儿，见upstream{}
    location ~ .*$ {
        index index;
        proxy_pass http://localhost:8080;
    }
}

配置负载均衡（多个Tomcat）
#

1：启动多个tomcat

2、ELK安装

Sat, 11 Nov 2023 00:00:00 +0000

ELK
#

ELK是ElasiticSearch+LogStash+Kibana的三合一版本

2、Java操作RabbitMQ

Sat, 11 Nov 2023 00:00:00 +0000

准备工作
#

1、查看数据端口，默认5672
#

2、Redis常用命令

Sat, 11 Nov 2023 00:00:00 +0000

通用命令
#

连接数据库
redis-cli	使用默认IP地址和端口连接Redis数据库（IP地址：127.0.0.1，端口号6379）
redis-cli -h 192.168.2.144 -p 6379	使用指定IP地址和端口连接Redis数据库
持久化
save	将数据同步保存到磁盘(存储在dump.rdb文件中)
bgsave	将数据异步保存到磁盘
lastsave	返回上次成功将数据保存到磁盘的Unix时戳
shundown	将数据同步保存到磁盘，然后关闭服务
远程服务控制
info	提供服务器的信息和统计
monitor	实时转储收到的请求
slaveof	改变复制策略设置
config	在运行时配置Redis服务器
对value操作的命令
exists(key)	确认一个key是否存在
del(key)	删除一个key
type(key)	返回值的类型
keys(pattern)	返回满足给定pattern的所有key
randomkey	随机返回key空间的一个
keyrename(oldname, newname)	重命名key
dbsize	返回当前数据库中key的数目
expire	设定一个key的活动时间（s）
ttl	获得一个key的活动时间
select(index)	按索引查询（切换到指定的数据库），默认索引为0
move(key, dbindex)	移动当前数据库中的key到dbindex数据库
flushdb	删除当前选择数据库中的所有key
flushall	删除所有数据库中的所有key

对String操作的命令
#

set(key, value)	给数据库中名称为key的string赋予值value
get(key)	返回数据库中名称为key的string的value
getset(key, value)	给名称为key的string赋予上一次的value
mget(key1, key2,…, key N)	返回库中多个string的value
setnx(key, value)	添加string，名称为key，值为value
setex(key, time, value)	向库中添加string，设定过期时间time
mset(key N, value N)	批量设置多个string的值
msetnx(key N, value N)	如果所有名称为key i的string都不存在
incr(key)	名称为key的string增1操作
incrby(key, integer)	名称为key的string增加integer
decr(key)	名称为key的string减1操作
decrby(key, integer)	名称为key的string减少integer
append(key, value)	名称为key的string的值附加value
substr(key, start, end)	返回名称为key的string的value的子串

对List操作的命令
#

rpush(key, value)	在名称为key的list尾添加一个值为value的元素
lpush(key, value)	在名称为key的list头添加一个值为value的元素
llen(key)	返回名称为key的list的长度
lrange(key, start, end)	返回名称为key的list中start至end之间的元素
ltrim(key, start, end)	截取名称为key的list
lindex(key, index)	返回名称为key的list中index位置的元素
lset(key, index, value)	给名称为key的list中index位置的元素赋值
lrem(key, count, value)	删除count个key的list中值为value的元素
lpop(key)	返回并删除名称为key的list中的首元素
rpop(key)	返回并删除名称为key的list中的尾元素
blpop(key1, key2,… key N, timeout)	lpop命令的block版本
brpop(key1, key2,… key N, timeout)	rpop的block版本
rpoplpush(srckey, dstkey)	返回并删除名称为srckey的list的尾元素，并将该元素添加到名称为dstkey的list的头部

对Set操作的命令
#

sadd(key, member)	向名称为key的set中添加元素member
srem(key, member)	删除名称为key的set中的元素member
spop(key)	随机返回并删除名称为key的set中一个元素
smove(srckey, dstkey, member)	移到集合元素
scard(key)	返回名称为key的set的基数
sismember(key, member)	member是否是名称为key的set的元素
sinter(key1, key2,…key N)	求交集
sinterstore(dstkey, (keys))	求交集并将交集保存到dstkey的集合
sunion(key1, (keys))	求并集
sunionstore(dstkey, (keys))	求并集并将并集保存到dstkey的集合
sdiff(key1, (keys))	求差集
sdiffstore(dstkey, (keys))	求差集并将差集保存到dstkey的集合
smembers(key)	返回名称为key的set的所有元素
srandmember(key)	随机返回名称为key的set的一个元素

对Hash操作的命令
#

hset(key, field, value)	向名称为key的hash中添加元素field
hget(key, field)	返回名称为key的hash中field对应的value
hmget(key, (fields))	返回名称为key的hash中field i对应的value
hmset(key, (fields))	向名称为key的hash中添加元素field
hincrby(key, field, integer)	将名称为key的hash中field的value增加integer
hexists(key, field)	名称为key的hash中是否存在键为field的域
hdel(key, field)	删除名称为key的hash中键为field的域
hlen(key)	返回名称为key的hash中元素个数
hkeys(key)	返回名称为key的hash中所有键
hvals(key)	返回名称为key的hash中所有键对应的value
hgetall(key)	返回名称为key的hash中所有的键（field）及其对应的value

3、Jedis与RedisTemplate

Fri, 13 Dec 2024 00:00:00 +0000

Jedis
#

使用步骤（Maven下使用）
#

1、pom.xml文件中导入依赖
#

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.3.0</version>
</dependency>

2、获取Redis对象，连接Redis
#

//无参构造为默认ip：127.0.0.1，端口号：6379
Jedis jedis = new Jedis("127.0.0.1",6379);

对于String类型的操作
#

Jedis jedis = new Jedis();
//清空所有数据库
jedis.flushAll();
for (int i = 0; i < 10; i++) {
    //insert
    jedis.set("key" + i,"value" + i);
}
//delete
jedis.del("key2");
//update
jedis.set("key1","vvvvv");
//findById
String s = jedis.get("key1");
System.out.println(s);
//findAll
Set<String> keys = jedis.keys("*");
Iterator<String> iterator = keys.iterator();
while (iterator.hasNext()){
    String key = iterator.next();
    String value = jedis.get(key);
    System.out.println("key:" + key + "value:" + value);
}

对于Set类型的操作
#

Jedis jedis = new Jedis();
jedis.flushAll();
//insert
jedis.sadd("person","lucy1");
jedis.sadd("person","lucy2");
jedis.sadd("person","lucy3");
jedis.sadd("person","lucy4");
jedis.sadd("person","lucy5");
//查询key的数据量
System.out.println(jedis.scard("person"));
//delete
jedis.srem("person","lucy1");
//findAll
Set<String> person = jedis.smembers("person");
System.out.println(person);

对于Zset类型的操作
#

Jedis jedis = new Jedis();
jedis.flushAll();
//insert,可以根据第二个参数值，进行排序
jedis.zadd("person",18,"lucy18");
jedis.zadd("person",9,"lucy9");
jedis.zadd("person",26,"lucy26");
jedis.zadd("person",4,"lucy4");
//delete
jedis.zrem("person","lucy9");
//查看key的数据量
System.out.println(jedis.zcard("person"));
//findAll
Set<String> person = jedis.zrange("person", 0, -1);
System.out.println(person);

对于List类型的操作
#

Jedis jedis = new Jedis();
jedis.flushAll();
for (int i = 0; i < 10; i++) {
    //在后面添加
    jedis.rpush("key","value" + i);
}
for (int i = 11; i < 20; i++) {
    //在前面添加
    jedis.lpush("key","value" + i);
}
//findById
System.out.println(jedis.lindex("key", 3));
//delete
jedis.lrem("key",1,"value1");
//update
jedis.lset("key",3,"vvvvv");
//findAll
List<String> key = jedis.lrange("key", 0, -1);
System.out.println(key);
//统计该key对应的value数量
System.out.println(jedis.llen("key"));

对于Hash类型的操作
#

Jedis jedis = new Jedis();
jedis.flushAll();
//insert
jedis.hset("person","name","lucy");
jedis.hset("person","sex","nv");
jedis.hset("person","age","18");
//update
jedis.hset("person","age","25");
//根据id获取值
System.out.println(jedis.hget("person", "age"));
//delete
jedis.hdel("person","sex");
//findAll
Map<String, String> map = jedis.hgetAll("person");
System.out.println(map);

spring-boot-starter-data-redis
#

使用步骤
#

1、导入依赖

3、配置ssl

Wed, 03 Apr 2024 00:00:00 +0000

1、域名服务商控制台对ssl进行域名解析

2、下载ssl证书，一共两个文件xxx.key、xxx.pem，上传到服务器

3、ES的使用

Sat, 11 Nov 2023 00:00:00 +0000

在ES7.0之后，types_name只可以写_doc

方式一：RestFul访问
#

在浏览器或PostMan中进行访问，注意选择请求的methods

3、SpringBoot整合RabbitMQ

Sat, 11 Nov 2023 00:00:00 +0000

准备工作
#

1、添加依赖
#

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>

2、修改配置文件
#

application.yml

4、JWT与SpringSession

Mon, 24 Feb 2025 00:00:00 +0000

SpringSession
#

SpringSession可以解决在微服务高可用或多个微服务中，JSESSIONID不同的问题

4、持久化、事务

Thu, 04 Jan 2024 00:00:00 +0000

持久化
#

优势Redis是基于缓存的存储，所以如果服务器宕机，会导致数据丢失，所以如果需要保存在磁盘上，需要使用持久化方案，Redis提供两种的持久化方案，RDB和AOF，默认情况下，开启了RDB方案，关闭AOF方案

4、ES的查询

Sat, 11 Nov 2023 00:00:00 +0000

term查询
#

term query: 会去倒排索引中寻找确切的term，它并不知道分词器的存在。这种查询适合keyword 、numeric、date
term：查询某个字段为该关键词的文档（它是相等关系而不是包含关系）
term是代表完全匹配，即不进行分词器分析，必须全值匹配。查询不会对查询的字段进行分词查询，会采用精确匹配
可以用它处理数字（numbers）、布尔值（Booleans）、日期（dates）以及文本（text）

语法
#

如果字段类型为text，那么在插入的时候就会被分词，如果使用term查询的话，那么无法命中

5、Analysis分词器

Sat, 11 Nov 2023 00:00:00 +0000

中文分词器
#

分词，一定是建立在创建“倒排索引”之前。ES将字符串划分为2种类型：Keyword和Text

5、MybatisCache&Redis

Sat, 11 Nov 2023 00:00:00 +0000

Mybatis二级缓存存在的问题
#

1、Mybatis自带的二级缓存是对当前容器而言的，存储在一个map集合对象中，如果容器重启，那么会导致缓存丢失

5、分布式存储Minio

Sat, 11 Nov 2023 00:00:00 +0000

分布式存储
#

1、分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。

6、分布式事务

Wed, 03 Apr 2024 00:00:00 +0000

分布式事务
#

分布式事务概念
#

本地事务：单体应用对应的单个数据库的事务
- 事务的目的：保证整个业务流程，要么统一成功，要么统一失败
- 通过单体应用中的事务管理器（TransactionManagement），可以保证事务的完整性
分布式事务
- 现在，我们用的是微服务。微服务的特点：一个微服务对应一个数据库
- 分布式程序，或微服务程序是相互独立的模块，都是远程调用，无法继续使用本地事务控制

6、SpringCache&Redis

Sat, 11 Nov 2023 00:00:00 +0000

关于Spring Cache
#

Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的参数来调用该方法时将不再执行该方法，而是直接从缓存中获取结果进行返回。所以在使用Spring Cache的时候我们要保证我们缓存的方法对于相同的方法参数要有相同的返回结果。

6、抓取数据

Sat, 11 Nov 2023 00:00:00 +0000

常用的抓取数据的姿势
#

姿势1：HTMLParser
姿势2：HttpClient
姿势3：Jsoup

Jsoup
#

1、添加依赖
#

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.13.1</version>
</dependency>

2、代码
#

@Test
public void test5() throws Exception {
    String url = "https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDAUTODAY&filename=SAHG202109022&uniplatform=NZKPT";
    //解析资源路径,设置超时时间30秒
    //此方法生成一个Document对象，可以按照前端方式进行操作
    Document doc = Jsoup.parse(new URL(url), 30000);
    //获取标题
    Element element = doc.getElementsByClass("wx-tit").get(0);
    String title = element.child(0).text();
    System.out.println("标题：" + title);

    //获取摘要
    Element chDivSummary = doc.getElementById("ChDivSummary");
    String digest = chDivSummary.text();
    System.out.println("摘要：" + digest);

    //获取关键字
    Element keywords = doc.getElementsByClass("keywords").get(0);
    int num = keywords.childNodeSize();
    String keyword = "";
    for (int i = 0; i < num; i++) {
        keyword += keywords.child(i).text();
    }
    System.out.println("关键字：" + keyword);
}

组件与中间件 on 杨刚的个人网站

1、Redis

数据库概述 #

1、ElasticSearch

全文检索 #

需求 #

1、Nginx+Tomcat集群

Tomcat存在的问题 #

1、RabbitMQ

消息队列 #

2、集群的实现，动静分离

Nginx的使用 #

Nginx启动 #

Nginx整合Tomcat，并实现动静分离（单个Tomcat） #

修改nginx.conf文件 #

配置负载均衡（多个Tomcat） #

2、ELK安装

ELK #

2、Java操作RabbitMQ

准备工作 #

1、查看数据端口，默认5672 #

2、Redis常用命令

通用命令 #

对String操作的命令 #

对List操作的命令 #

对Set操作的命令 #

对Hash操作的命令 #

3、Jedis与RedisTemplate

Jedis #

使用步骤（Maven下使用） #

1、pom.xml文件中导入依赖 #

2、获取Redis对象，连接Redis #

对于String类型的操作 #

对于Set类型的操作 #

对于Zset类型的操作 #

对于List类型的操作 #

对于Hash类型的操作 #

spring-boot-starter-data-redis #

使用步骤 #

3、配置ssl

3、ES的使用

方式一：RestFul访问 #

3、SpringBoot整合RabbitMQ

准备工作 #

1、添加依赖 #

2、修改配置文件 #

4、JWT与SpringSession

SpringSession #

4、持久化、事务

持久化 #

4、ES的查询

term查询 #

语法 #

5、Analysis分词器

中文分词器 #

5、MybatisCache&Redis

Mybatis二级缓存存在的问题 #

5、分布式存储Minio

分布式存储 #

6、分布式事务

分布式事务 #

分布式事务概念 #

6、SpringCache&Redis

关于Spring Cache #

6、抓取数据

常用的抓取数据的姿势 #

Jsoup #

1、添加依赖 #

2、代码 #

数据库概述
#

全文检索
#

需求
#

Tomcat存在的问题
#

消息队列
#

Nginx的使用
#

Nginx启动
#

Nginx整合Tomcat，并实现动静分离（单个Tomcat）
#

修改nginx.conf文件
#

配置负载均衡（多个Tomcat）
#

ELK
#

准备工作
#

1、查看数据端口，默认5672
#

通用命令
#

对String操作的命令
#

对List操作的命令
#

对Set操作的命令
#

对Hash操作的命令
#

Jedis
#

使用步骤（Maven下使用）
#

1、pom.xml文件中导入依赖
#

2、获取Redis对象，连接Redis
#

对于String类型的操作
#

对于Set类型的操作
#

对于Zset类型的操作
#

对于List类型的操作
#

对于Hash类型的操作
#

spring-boot-starter-data-redis
#

使用步骤
#

方式一：RestFul访问
#

准备工作
#

1、添加依赖
#

2、修改配置文件
#

SpringSession
#

持久化
#

term查询
#

语法
#

中文分词器
#

Mybatis二级缓存存在的问题
#

分布式存储
#

分布式事务
#

分布式事务概念
#

关于Spring Cache
#

常用的抓取数据的姿势
#

Jsoup
#

1、添加依赖
#

2、代码
#