时间:2021-03-29来源:www.pcxitongcheng.com作者:电脑系统城
最近使用 Redis 遇到了一个类似分布式锁的场景,跟 Redis 实现分布式锁类比一下,就是释放锁失败,也就是缓存删不掉。又踩了一个 Redis 的坑……
这是什么个情况、又是怎样排查的呢?
本文主要对此做个复盘。
既然是释放锁有问题,那就先看看释放锁的代码吧。
释放锁使用了 Lua 脚本,代码逻辑和 Lua 脚本如下:
释放锁示例代码
1 2 3 4 5 6 7 |
public Object release(String key, String value) { Object existedValue = stringRedisTemplate.opsForValue().get(key); log.info( "key:{}, value:{}, redis旧值:{}" , key, value, existedValue); DefaultRedisScript<Long> redisScript = new DefaultRedisScript<>(COMPARE_AND_DELETE, Long. class ); return stringRedisTemplate.execute(redisScript, Collections.singletonList(key), value); } |
释放锁使用的 Lua 脚本
1 2 3 4 5 6 |
if redis.call('get',KEYS[1]) == ARGV[1] then return redis.call('del',KEYS[1]) else return 0 end; |
删除脚本中,会先获取 Redis key 的旧值,并与入参 value 比较,二者相等时才会删除。
如果释放成功,也就是 Redis 缓存删除成功,返回值为 1,否则失败返回为 0。
乍一看代码似乎没啥问题,测一下试试?
不过既然要释放锁,在此之前肯定要加锁,先看看加锁的逻辑吧。
说到加锁这里的逻辑,代码里有两种实现方式:
示例代码一
1 2 3 4 |
public Object lock01(String key, String value) { log.info( "lock01, key={}, value={}" , key, value); return redisTemplate.opsForValue().setIfAbsent(key, value, LOCKED_TIME, TimeUnit.SECONDS); } |
示例代码二
1 2 3 4 |
public Object lock02(String key, String value) { log.info( "lock02, key={}, value={}" , key, value); return stringRedisTemplate.opsForValue().setIfAbsent(key, value, LOCKED_TIME, TimeUnit.SECONDS); } |
其实它们的区别就在于前者使用了 RedisTemplate,而后者使用的是 StringRedisTemplate。
Q: 等等……为什么会有两个 template??
A: 憋说了,是我挖的坑,RedisTemplate 是我加的……现在回想都没想明白当初为什么这样搞,可能真是脑子一时抽风了。
先测试一下这两个方法?
使用两种方式分别加锁,其中:lock01 为 k1 和 v1,lock02 为 k2 和 v2。
分别看下 k1、k2 的值(使用工具:RDM, Redis Desktop Manager):
可以看到 v1 是有双引号的,而 v2 没有。
猜测应该是序列化的问题,看看 Redis 配置?
加锁那里可以看到,k1 使用了 RedisTemplate,而 k2 是 StringRedisTemplate,它们两个的配置有什么区别呢?
其中 RedisTemplate 的配置是自定义的,如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
@Configuration @AutoConfigureAfter (RedisAutoConfiguration. class ) public class RedisConfig { @Bean public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) { RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>(); redisTemplate.setConnectionFactory(redisConnectionFactory); // 使用 Jackson2JsonRedisSerialize 替换默认序列化 Jackson2JsonRedisSerializer<Object> jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer<>(Object. class ); ObjectMapper objectMapper = new ObjectMapper(); objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY); objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL); objectMapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false ); jackson2JsonRedisSerializer.setObjectMapper(objectMapper); // 设置 key、value 的序列化规则(尤其是 value) redisTemplate.setKeySerializer( new StringRedisSerializer()); redisTemplate.setValueSerializer(jackson2JsonRedisSerializer); redisTemplate.afterPropertiesSet(); return redisTemplate; } } |
StringRedisTemplate 的配置是 SpringBoot 默认的,即:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
@Configuration @ConditionalOnClass ({RedisOperations. class }) @EnableConfigurationProperties ({RedisProperties. class }) @Import ({LettuceConnectionConfiguration. class , JedisConnectionConfiguration. class }) public class RedisAutoConfiguration { public RedisAutoConfiguration() { } @Bean @ConditionalOnMissingBean public StringRedisTemplate stringRedisTemplate(RedisConnectionFactory redisConnectionFactory) throws UnknownHostException { StringRedisTemplate template = new StringRedisTemplate(); template.setConnectionFactory(redisConnectionFactory); return template; } } |
PS: SpringBoot 版本为 2.1.13.RELEASE
点进去 StringRedisTemplate 看下:
1 2 3 4 5 6 7 8 9 10 11 |
public class StringRedisTemplate extends RedisTemplate<String, String> { public StringRedisTemplate() { // 注意这里的序列化设置 setKeySerializer(RedisSerializer.string()); setValueSerializer(RedisSerializer.string()); setHashKeySerializer(RedisSerializer.string()); setHashValueSerializer(RedisSerializer.string()); } // ... } |
注意下序列化设置,继续跟进,看到底是什么方式:
1 2 3 4 5 |
public interface RedisSerializer<T> { static RedisSerializer<String> string() { return StringRedisSerializer.UTF_8; } } |
1 2 3 4 |
public class StringRedisSerializer implements RedisSerializer<String> { public static final StringRedisSerializer UTF_8 = new StringRedisSerializer(StandardCharsets.UTF_8); // ... } |
可以看到,StringRedisTemplate 的 key 和 value 默认都是用 StringRedisSerializer(StandardCharsets.UTF_8) 进行序列化的。
而 RedisTemplate 的 key 使用 StringRedisSerializer,value 使用的是 Jackson2JsonRedisSerializer 序列化(至于为什么用这个,这里就不是我写的了)。
到这里,基本可以定位到问题所在了:就是 RedisTemplate 的 value 序列化和 StringRedisTemplate 不一致。
如果改成一致就可以了吗?验证一下试试。
把 RedisTemplate 的 value 序列化方式修改为 StringRedisSerializer:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
@Configuration @AutoConfigureAfter (RedisAutoConfiguration. class ) public class RedisConfig { @Bean public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) { RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>(); // ... redisTemplate.setKeySerializer( new StringRedisSerializer()); redisTemplate.setValueSerializer( new StringRedisSerializer()); // ... return redisTemplate; } } |
再调用两种加锁逻辑,看下 k1、k2 的值:
可以看到,v1 的双引号没了,释放锁的服务也能正常删掉了。
嗯,就是这里的问题。
至于两者序列化的源码,有兴趣的盆友们可以继续研究,这里就不再深入探讨了。
本文遇到的这个问题,主要是因为使用了不同的 RedisTemplate 来加锁和释放锁,而这两个 template 使用了不同的序列化方式,最终还是序列化带来的问题。
当初真是草率了,而且一时还没测出来……
对于生产环境,还是要慎之又慎:如临深渊,如履薄冰。
到此这篇关于Redis 分布式锁遇到的序列化问题的文章就介绍到这了
2023-11-01
React中immutable的使用2023-11-01
命令行清除Redis缓存的实现2023-11-01
Redis缓存空间优化实践详解引言大厂很多项目都是部署到多台服务器上,这些服务器在各个地区都存在,当我们访问服务时虽然执行的是同一个服务,但是可能是不同服务器运行的;在我学习项目时遇到这样一个登录情...
2023-11-01
1.多次修改一个redis的String过期键,如何保证他仍然能保留第一次设置时的删除时间 2.修改hash、set、Zset、list的值,会使过期时间重置吗?...
2023-11-01