Python定时任务,三步实现自动化(python实现定时任务)
off999 2024-10-31 14:01 12 浏览 0 评论
今天的文章源自于工作中的一个小技巧,主要是涉及到日常工作的自动化处理。
如果说你每天都需要做一些重复的工作,比如出一份报告、统计一个数据、发一封邮件等等
那你完全可以把这个任务交给电脑让它每天自动替你完成,而你只需要从容地打开保温杯,静静地泡一杯枸杞
今天主要会用到Linux下的cron这个服务,ok,直接开始
1. 安装cron
基本上所有的Linux发行版在默认情况下都预安装了cron工具。
即使未预装cron,也很简单,执行几条简单的命令就可手动安装
# 检查是否已经预装了cron
service cron status
安装并启动服务
安装:apt-get install cron
启动/停止/重启:service cron start/stop/restart
查询当前任务:crontab -l
2. 安装检查
安装完成后检查一下是否安装成功,同样使用 status命令查看
出现如下提示表示安装成功:
另外,在ubuntu下可能会出现这样的提示:
这个也表示可以正常使用
3. cron用法
有几个关于cron的简单用法可以了解一下,后面也会通过一个案例详细介绍如何使用
首先,列出当前用户计划的cron作业:
crontab -l
查看其它用户的cron作业:
crontab –l –u username
移除已经计划的cron作业:
crontab –r
4. 调度crontab计划
首先,通过如下命令添加或更新crontab中的任务
第一次进入会要求你选择编辑器,这个根据自己的习惯选择。
选择好之后会进入到这样的一个界面:
用过vim的同学应该对这个界面不陌生,类似的操作:按A键开始编辑,按ESC输入wq保存并退出
重点是最下面的一段内容:
m h dom mon dow commmand
这个其实就是crontab调度作业的一个使用介绍,可以用来设置定时任务。
具体一点的语法是这样的:
m h dom mon dow command
* * * * * command
- - - - - -
| | | | | |
| | | | | --- 预执行的命令
| | | | ----- 表示星期0~7(其中星期天可以用0或7表示)
| | | ------- 表示月份1~12
| | --------- 表示日期1~31
| ----------- 表示小时1~23(0表示0点)
------------- 表示分钟1~59 每分钟用*或者 */1表示
举几个简单的应用案例:
- 每天 02:00 执行任务
0 2 * * * command
- 每天 5:00和17:00执行任务
0 5,17 * * * command
- 每 10min 执行一次任务
*/10 * * * * command
- 在特定的某几个月的周日 17:00 执行任务
0 17 * jan,may,aug sun command
差不多常用的就这些,更多的使用案例还可以参考这个链接:http://linux.51yip.com/search/crontab
上面案例中的command 表示你具体需要执行的任务,例如打印一段话:
echo "Hello xiaoyi" >> /tmp/test.txt
或者将这段话输出到txt中:
echo "Hello xiaoyi" >> /tmp/test.txt
或者是你需要执行一个Python脚本:
python demo.py filepath
后面的filepath表示输入的参数args,这个可能有的同学会用到,例如下面的案例中需要输入文件下载路径。
5. 实战
上面的都搞清楚了,就可以开始今天的重头戏了。
首先我们需要每天从ftp服务器中下载最新的任务数据,将数据下载到本地后通过Python进行数据汇总统计,最后将结果存入数据库中,如果期间某个环节出现问题则发送告警邮件。
① Python脚本
首先需要Python脚本完成以下功能:
- 从数据库中获取最新数据日期
- 从ftp中下载最新数据到本地
- 对本地最新数据进行汇总统计
- 统计结果存入数据库汇总
- 邮件通知
上面这个流程大致的伪代码是这样的:
if __name__ == '__main__':
"""获取最新数据日期"""
latest_date = get_max_date()
# 以最新日期为名创建文件夹
download_dir = os.path.join(sys.argv[1], latest_date)
if not os.path.exists(download_dir):
os.makedirs(download_dir)
"""从ftp中下载最新数据"""
download_file(latest_date, download_dir)
"""处理最新数据并保存"""
process_data(latest_date, download_dir)
邮件监控可以在加一个try catch的异常捕获,有异常发生的时候则发送邮件
Python编辑邮件内容并发送以前也有写过,可以参考下面这个:Python邮件发送
②编写cron任务
打开crontab,编辑如下内容到最后一行,保存并退出
crontab是会自动实时更新任务列表的,如果不放心也可以通过restart命令重启cron 服务【参考文章开头】
这里有个小建议,所有的路径都填写绝对路径
③ 效果监控
如果Python代码没有问题,任务会定时执行。
这里建议可以把自己的command单独在控制台运行下,没有问题的时候再写进到cron任务列表红。
最终小一的定时任务运行截图如下:
最下面是ftp文件下载,上面是数据汇总统计
说点题外话
如果说你平时的工作有很多重复的任务,像日常指标的采集、取数汇总统计、邮件自动转发等等
一旦这些工作你可以通过脚本设置好逻辑,自动化任务也就可以实现它,最多就需要你每天注意一下邮件,看看有没有发生错误就行了。
喜欢的老板点个关注呦![送心]
相关推荐
- Python 数据分析——利用Pandas进行分组统计
-
话说天下大势,分久必合,合久必分。数据分析也是如此,我们经常要对数据进行分组与聚合,以对不同组的数据进行深入解读。本章将介绍如何利用Pandas中的GroupBy操作函数来完成数据的分组、聚合以及统计...
- python数据分析:介绍pandas库的数据类型Series和DataFrame
-
安装pandaspipinstallpandas-ihttps://mirrors.aliyun.com/pypi/simple/使用pandas直接导入即可importpandasas...
- 使用DataFrame计算两列的总和和最大值_[python]
-
【如果对您有用,请关注并转发,谢谢~~】最近在处理气象类相关数据的空间计算,在做综合性计算的时候,DataFrame针对每列的统计求和、最大值等较为方便,对某行的两列或多列数据进行求和与最大值等的简便...
- 8-Python内置函数
-
Python提供了丰富的内置函数,这些函数可以直接使用而无需导入任何模块。以下是一些常用的内置函数及其示例:1-print()1-1-说明输出指定的信息到控制台。1-2-例子2-len()2-1-说...
- Python中函数式编程函数: reduce()函数
-
Python中的reduce()函数是一个强大的工具,它通过连续地将指定的函数应用于序列(如列表)来对序列(如列表)执行累积操作。它是functools模块的一部分,这意味着您需要在使用它之...
- 万万没想到,除了香农计划,Python3.11竟还有这么多性能提升
-
众所周知,Python3.11版本带来了较大的性能提升,但是,它具体在哪些方面上得到了优化呢?除了著名的“香农计划”外,它还包含哪些与性能相关的优化呢?本文将带你一探究竟!作者:BeshrKay...
- 最全python3.11版12类75个内置函数大全
-
获取全部内置函数:importbuiltins#导入模块yc=[]#异常属性nc=[]#不可调用fn=[]#内置函数defll(ty=builtins):...
- 软件测试笔试题
-
测试工程师岗位,3-5年,10-14k1.我司有一款产品,类似TeamViewer,向日葵,mstsc,QQ远程控制产品,一个PC客户端产品,请设想一下测试要点。并写出2.写出常用的SQL语句8条,l...
- 备战各大互联网巨头公司招聘会,最全Python面试大全,共300题
-
前言众所周知,越是顶尖的互联网公司在面试这一part的要求就越高,需要你有很好的技术功底、项目经验、一份漂亮的简历,当然还有避免不了的笔试过关。对于Python的工程师来说,全面掌握好有关Python...
- 经典 SQL 数据库笔试题及答案整理
-
马上又是金三银四啦,有蛮多小伙伴在跳槽找工作,但对于年限稍短的软件测试工程师,难免会需要进行笔试,而在笔试中,基本都会碰到一道关于数据库的大题,今天这篇文章呢,就收录了下最近学员反馈上来的一些数据库笔...
- 用Python开发日常小软件,让生活与工作更高效!附实例代码
-
引言:Python如何让生活更轻松?在数字化时代,编程早已不是程序员的专属技能。Python凭借其简洁易学的特点,成为普通人提升效率、解决日常问题的得力工具。无论是自动化重复任务、处理数据,还是开发个...
- 太牛了!102个Python实战项目被我扒到了!建议收藏!
-
挖到宝了!整整102个Python实战项目合集,从基础语法到高阶应用全覆盖,附完整源码+数据集,手把手带你从代码小白变身实战大神!这波羊毛不薅真的亏到哭!超全项目库,学练一站式搞定这份资...
- Python中的并发编程
-
1.Python对并发编程的支持多线程:threading,利用CPU和IO可以同时执行的原理,让CPU不会干巴巴等待IO完成。多进程:multiprocessing,利用多核CPU...
- Python 也有内存泄漏?
-
1.背景前段时间接手了一个边缘视觉识别的项目,大功能已经开发的差不多了,主要是需要是优化一些性能问题。其中比较突出的内存泄漏的问题,而且不止一处,有些比较有代表性,可以总结一下。为了更好地可视化内存...
- python爬虫之多线程threading、多进程、协程aiohttp批量下载图片
-
一、单线程常规下载常规单线程执行脚本爬取壁纸图片,只爬取一页的图片。importdatetimeimportreimportrequestsfrombs4importBeautifu...
你 发表评论:
欢迎- 一周热门
-
-
python 3.8调用dll - Could not find module 错误的解决方法
-
加密Python源码方案 PyArmor(python项目源码加密)
-
Python3.8如何安装Numpy(python3.6安装numpy)
-
大学生机械制图搜题软件?7个受欢迎的搜题分享了
-
编写一个自动生成双色球号码的 Python 小脚本
-
免费男女身高在线计算器,身高计算公式
-
将python文件打包成exe程序,复制到每台电脑都可以运行
-
Python学习入门教程,字符串函数扩充详解
-
Python进度条显示方案(python2 进度条)
-
Python数据分析实战-使用replace方法模糊匹配替换某列的值
-
- 最近发表
- 标签列表
-
- python计时 (54)
- python安装路径 (54)
- python类型转换 (75)
- python进度条 (54)
- python的for循环 (56)
- python串口编程 (60)
- python写入txt (51)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python斐波那契数列 (51)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)