百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

python 中使用redis实现分布式锁和看门狗

off999 2024-11-04 13:16 18 浏览 0 评论

锁是什么?

编程中的锁是控制不同线程之间访问共享资源的一种实现,需要实现互斥,来防止彼此干扰,来保证数据一致性。

门 和 锁的比喻

人是不同的线程,卫生间是共享资源
你在上洗手间的时候肯定要把门锁上吧,这就是加锁,只要你在里面,这个卫生间就被锁了,只有你出来之后别人才能用。想象一下如果卫生间的门没有锁会是什么样?

应用场景

使用分布式锁的目的,无外乎就是保证同一时间只有一个客户端可以对共享资源进行操作。

根据锁的用途还可以细分为以下两类

  1. 允许多个客户端操作共享资源
  2. 这种情况下,对共享资源的操作一定是幂等性操作,无论你操作多少次都不会出现不同结果。在这里使用锁,无外乎就是为了避免重复操作共享资源从而提高效率。
  3. 只允许一个客户端操作共享资源
  4. 这种情况下,对共享资源的操作一般是非幂等性操作。在这种情况下,如果出现多个客户端操作共享资源,就可能意味着数据不一致,数据丢失。

怎么实现?

  1. 加锁
  2. 释放锁
  3. 锁的延续(看门狗)

不要着急,下面我们开始的实现它,以下我们会使用redis实现分布式锁和看门狗机制。

以下是使用Python实现Redis分布式锁并支持看门狗的示例代码:

```python
import time
import threading
import redis

class RedisLock:
    def __init__(self, client, lock_key, acquire_timeout=10, expire_time=10):
        self.client = client
        self.lock_key = lock_key
        self.acquire_timeout = acquire_timeout
        self.expire_time = expire_time
        self.lock_value = None

    def acquire(self):
        start_time = time.time()
        while time.time() - start_time < self.acquire_timeout:
            if self.client.set(self.lock_key, 1, ex=self.expire_time, nx=True):
                self.lock_value = 1
                return True
            time.sleep(0.001)
        return False

    def release(self):
        if self.lock_value:
            self.client.delete(self.lock_key)
            self.lock_value = None

class RedisLockWithWatchdog:
    def __init__(self, client, lock_key, acquire_timeout=10, expire_time=10, watchdog_interval=5):
        self.lock = RedisLock(client, lock_key, acquire_timeout, expire_time)
        self.watchdog_interval = watchdog_interval
        self.watchdog_thread = None
        self.stop_watchdog = threading.Event()

    def acquire(self):
        if self.lock.acquire():
            self.start_watchdog()
            return True
        return False

    def release(self):
        self.stop_watchdog.set()
        self.lock.release()

    def watchdog(self):
        while not self.stop_watchdog.wait(self.watchdog_interval):
            self.renew_lock()

    def start_watchdog(self):
        self.watchdog_thread = threading.Thread(target=self.watchdog)
        self.watchdog_thread.start()

    def renew_lock(self):
        if self.lock.lock_value:
            self.lock.client.expire(self.lock.lock_key, self.lock.expire_time)

# 使用示例
client = redis.Redis()
lock = RedisLockWithWatchdog(client, 'mylock')

if lock.acquire():
    try:
        # 在锁内部执行需要保护的操作
        print("Got the lock!")
        time.sleep(5)
    finally:
        lock.release()
```

在代码中,`RedisLock`类用于实现基本的Redis分布式锁,`RedisLockWithWatchdog`类

相关推荐

Python 数据分析——利用Pandas进行分组统计

话说天下大势,分久必合,合久必分。数据分析也是如此,我们经常要对数据进行分组与聚合,以对不同组的数据进行深入解读。本章将介绍如何利用Pandas中的GroupBy操作函数来完成数据的分组、聚合以及统计...

python数据分析:介绍pandas库的数据类型Series和DataFrame

安装pandaspipinstallpandas-ihttps://mirrors.aliyun.com/pypi/simple/使用pandas直接导入即可importpandasas...

使用DataFrame计算两列的总和和最大值_[python]

【如果对您有用,请关注并转发,谢谢~~】最近在处理气象类相关数据的空间计算,在做综合性计算的时候,DataFrame针对每列的统计求和、最大值等较为方便,对某行的两列或多列数据进行求和与最大值等的简便...

8-Python内置函数

Python提供了丰富的内置函数,这些函数可以直接使用而无需导入任何模块。以下是一些常用的内置函数及其示例:1-print()1-1-说明输出指定的信息到控制台。1-2-例子2-len()2-1-说...

Python中函数式编程函数: reduce()函数

Python中的reduce()函数是一个强大的工具,它通过连续地将指定的函数应用于序列(如列表)来对序列(如列表)执行累积操作。它是functools模块的一部分,这意味着您需要在使用它之...

万万没想到,除了香农计划,Python3.11竟还有这么多性能提升

众所周知,Python3.11版本带来了较大的性能提升,但是,它具体在哪些方面上得到了优化呢?除了著名的“香农计划”外,它还包含哪些与性能相关的优化呢?本文将带你一探究竟!作者:BeshrKay...

最全python3.11版12类75个内置函数大全

获取全部内置函数:importbuiltins#导入模块yc=[]#异常属性nc=[]#不可调用fn=[]#内置函数defll(ty=builtins):...

软件测试笔试题

测试工程师岗位,3-5年,10-14k1.我司有一款产品,类似TeamViewer,向日葵,mstsc,QQ远程控制产品,一个PC客户端产品,请设想一下测试要点。并写出2.写出常用的SQL语句8条,l...

备战各大互联网巨头公司招聘会,最全Python面试大全,共300题

前言众所周知,越是顶尖的互联网公司在面试这一part的要求就越高,需要你有很好的技术功底、项目经验、一份漂亮的简历,当然还有避免不了的笔试过关。对于Python的工程师来说,全面掌握好有关Python...

经典 SQL 数据库笔试题及答案整理

马上又是金三银四啦,有蛮多小伙伴在跳槽找工作,但对于年限稍短的软件测试工程师,难免会需要进行笔试,而在笔试中,基本都会碰到一道关于数据库的大题,今天这篇文章呢,就收录了下最近学员反馈上来的一些数据库笔...

用Python开发日常小软件,让生活与工作更高效!附实例代码

引言:Python如何让生活更轻松?在数字化时代,编程早已不是程序员的专属技能。Python凭借其简洁易学的特点,成为普通人提升效率、解决日常问题的得力工具。无论是自动化重复任务、处理数据,还是开发个...

太牛了!102个Python实战项目被我扒到了!建议收藏!

挖到宝了!整整102个Python实战项目合集,从基础语法到高阶应用全覆盖,附完整源码+数据集,手把手带你从代码小白变身实战大神!这波羊毛不薅真的亏到哭!超全项目库,学练一站式搞定这份资...

Python中的并发编程

1.Python对并发编程的支持多线程:threading,利用CPU和IO可以同时执行的原理,让CPU不会干巴巴等待IO完成。多进程:multiprocessing,利用多核CPU...

Python 也有内存泄漏?

1.背景前段时间接手了一个边缘视觉识别的项目,大功能已经开发的差不多了,主要是需要是优化一些性能问题。其中比较突出的内存泄漏的问题,而且不止一处,有些比较有代表性,可以总结一下。为了更好地可视化内存...

python爬虫之多线程threading、多进程、协程aiohttp批量下载图片

一、单线程常规下载常规单线程执行脚本爬取壁纸图片,只爬取一页的图片。importdatetimeimportreimportrequestsfrombs4importBeautifu...

取消回复欢迎 发表评论: