Centos7扩展根分区——不增加磁盘

1、背景 最近公司需要用到Docker,各种包依赖问题,由于在公司内网,下载了一串还有一串,难受。之前已经搭了一个centos7.3的本地yum源,可现在用的7.4,一些包没法用,继续搭一个呗。这是搭建局域网yum源的:http://www.cnblogs.com/nidey/p/6200685.html。中间出了个问题,根目录满了,百度一看都是增加磁盘,不想增加磁盘,我空间够啊,想着法扩一下吧。进入这个问题的正题。 2、知识 参考linux公社的一篇文章:http://www.linuxidc.com/Linux/2014-10/107697.htm 2.1   LVM是 Logical Volume Manager(逻辑卷管理)的简写,它是Linux环境下对磁盘分区进行管理的一种机制,它由Heinz Mauelshagen在Linux 2.4内核上实现。 2.2   物理存储介质(Physical Storage Media) 指系统的物理存储设备:磁盘,如:/dev/hda、/dev/sda等,是存储系统最底层的存储单元。 2.3  物理卷(Physical Volume,PV) 指磁盘分区或从逻辑上与磁盘分区具有同样功能的设备(如RAID),是LVM的基本存储逻辑块,但和基本的物理存储介质(如分区、磁盘等)比较,却包含有与LVM相关的管理参数。 2.4  卷组(Volume Group,VG) 类似于非LVM系统中的物理磁盘,其由一个或多个物理卷PV组成。可以在卷组上创建一个或多个LV(逻辑卷)。 2.5  逻辑卷(Logical Volume,LV) 类似于非LVM系统中的磁盘分区,逻辑卷建立在卷组VG之上。在逻辑卷LV之上可以建立文件系统(比如/home或者/usr等)。 参考下图的架构(图来自linux公社): 3、步骤 3.1  首先,发现问题:根分区磁盘空间不足(我要拷一个8G的ISO进来,/dev/mapper/centos-root就是根分区) 3.2  查看磁盘,确定磁盘可用的空间 之前没有截图,这个做好以后的,画红线的是之前没有的。 说明/dev/sda未全部格式化,需要格式化/dev/sda,新建分区/dev/sd3 3.3    命令 fdisk 含有未格式化分区的分区,进入新建分区交互界面:       centos7没有遇到需要输入8e步。建完以后重启系统。 3.4  重启完毕以后,查看新加的分区,/dev/sda3已经加进来了 3.5  在分区/dev/sda3上新建逻辑卷/dev/sda3 3.6  查看已存在的物理卷,查看有哪些卷组(需要扩展的就是这个卷组) 3.7  将新建的物理卷加到要扩展的卷组上,查看扩展后的卷组大小,查看扩展后的物理卷大小,发现确实是加上去了,如果没有,需要考虑前面哪里出问题了。 3.8  查看逻辑卷和逻辑卷组信息,发现可用的物理扩展空间为小于184G 3.9   扩展根分区 3.10  … Continue reading Centos7扩展根分区——不增加磁盘

关于数据同步的几种实现

https://blog.csdn.net/xuemoyao/article/details/14002209 概述 关于数据同步主要有两个层面的同步,一是通过后台程序编码实现数据同步,二是直接作用于数据库,在数据库层面实现数据的同步。通过程序编码实现数据同步,其主要的实现思路很容易理解,即有就更新,无则新增,其他情况日志记录,就不做过多的介绍,这里主要讲述的是第二个层面的数据同步,即在数据库层面实现数据同步。 数据库层面的数据库同步主要有三种方式:通过发布/订阅的方式实现同步,通过SQL JOB方式实现数据同步,通过Service Broker 消息队列的方式实现数据同步。 下面分别就这三种数据同步方式,一一详解。 1.    通过发布/订阅的方式实现同步 发布/订阅是Sql Server自带的一种数据库备份的机制,通过该机制可以快速的实现数据的备份同步,不用编写任何的代码。 此种数据同步的方式存在的以下的一些问题: 表结构不能更改,同步双方的表结构必须一致,一旦表结构发生更改需要重新生成数据库快照。 对于大数据量的同步没有可靠的保证。 网络不稳定的情况下同步也不能保证。 总的来说,这种数据备份同步的方式,在表结构一致、数据量不是特别大的情况下还是非常高效的一种同步方式。 网上有很多的关于如何使用发布/订阅的方式实现数据同步的操作示例,这里就不再重复的演示了,有兴趣想要了解的朋友可以参考下面这篇文章: http://kb.cnblogs.com/page/103975/ 2.    通过SQL JOB方式实现数据同步 通过Sql Job定时作业的方式实现同步其基本原理就是通过目标服务器和源服务器的连接,然后通过编写Sql语句,从源服务器中读取数据,再更新到目标服务器。 这种数据同步的方式比较灵活。创建过sql定时作业之后,主要需要执行以下关键的两步。 2.1     创建数据库连接(一般作为定时作业执行的第一步) 不同数据库之间的连接可以通过系统的存储过程实现。下面就直接用一个示例来讲一下如何创建数据库连接。 --添加一个连接 --系统存储过程sp_addlinkedserver 参数: ----------------------1:目标服务器的IP或别名,本例中为:'WIN-S1PO3UA6J7I';----------------------2:'' (srvproduct,默认); ----------------------3:'SQLOLEDB'(provider,默认值); ----------------------4:目标服务器的IP或别名(datasrc),本例中为:'WIN-S1PO3UA6J7I' exec sp_addlinkedserver 'WIN-S1PO3UA6J7I','','SQLOLEDB','WIN-S1PO3UA6J7I' --添加登录用户连接 --系统存储过程sp_addlinkedsrvlogin 参数: ----------------------1:目标服务器的IP或别名,本例中为:'WIN-S1PO3UA6J7I'; ----------------------2:'false',默认值; ----------------------3:null,默认值; ----------------------4:'sa',登录用户名; ----------------------5:'pass@word1',登录密码; exec sp_addlinkedsrvlogin 'WIN-S1PO3UA6J7I','false',null,'sa','pass@word1' 创建数据库连接主要用到了以上的两个存储过程,但是在实际操作的过程中可能会遇到“仍有对服务器XXX的远程登录或连接登录问题”这样的问题,如果遇到此类问题,在执行上边的添加连接和登录用户连接之前还需要先删除某个已存在的链接,具体如下: --系统存储过程sp_droplinkedsrvlogin 参数: ----------------------1:目标服务器的IP或别名,本例中为:'WIN-S1PO3UA6J7I';----------------------2:null exec sp_droplinkedsrvlogin … Continue reading 关于数据同步的几种实现

300+篇运维、数据库等实战资料免费下载

2017年已过去一半,在此小编为大家精心整理了2017上半年热点事件解析、实战技术资料以及特别策划短视频系列,希望可以帮助大家更深入地回顾上半年的技术热点,并储备更充足的技术干粮继续2017的下一半。 我有几张阿里云幸运券分享给你,用券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。 PART 1 峰会回顾资料 云栖大会 【上海云栖大会】2017云栖大会上海峰会资料合计(现场视频+PDF下载) 【成都云栖大会】2017云栖大会成都峰会资料合计(现场视频+PDF下载) 【南京云栖大会】2017云栖大会南京峰会资料合计(现场视频+PDF下载) 技术峰会 【运维/DevOps峰会】 同城容灾架构剖析 视频回顾  PDF下载 阿里云专家谈DevOPS 视频回顾 PDF下载 云数据库安全实践  视频回顾 PDF下载 饿了么Redis Cluster集群演进 视频回顾 PDF下载 开源DevOps工具云上自动运维 视频回顾 PDF下载 企业上云安全加固最佳实践 视频回顾 PDF下载 构建通用智能运维平台 视频回顾 PDF下载 【双11技术峰会】 阿里双11背后的网络自动化技 视频回顾 PDF下载 阿里大规模数据计算与处理 视频回顾 PDF下载 在线AI技术在搜索与推荐场景 视频回顾 PDF下载 揭秘阿里虚拟互动实验室 视频回顾 PDF下载 阿里超大规模Docker化之路 视频回顾 PDF下载 双11媒体大屏背后的数据技术 视频回顾 PDF下载 数据赋能商家背后的AI技术 视频回顾 PDF下载 面对双11的前端“极限挑战” 视频回顾 PDF下载 【红包在线技术峰会】 支付宝17年新春红包技术体系 视频回顾 PDF下载 实例存储技术将硬件性能发挥 视频回顾 PDF下载 微博红包技术实践 视频回顾 PDF下载 虚拟化技术如何支撑春节红包 视频回顾 PDF下载 CDN与HTTPS优化实践 视频回顾 PDF下载 SLB支持业务多可用区容灾实践 视频回顾 PDF下载 支付宝AR框架体系和实践 视频回顾 PDF下载 红包背后:红与黑的较量 视频回顾 PDF下载 揭秘存储&图片实战优化红包体验 视频回顾 PDF下载 【阿里开源峰会】 AliSQL功能特性详解 视频回顾 PDF下载 BeeHive:一种大型iOS项目解耦实践 视频回顾 PDF下载 JStorm开源最佳实践 视频回顾 PDF下载 安卓页面路由框架ARouter最佳实践 视频回顾  PDF下载 Apache RocketMQ实践 视频回顾 PDF下载 Freeline:极速编译方案的开源 视频回顾 由 Weex 谈品牌经营心得 视频回顾 PDF下载 【金融技术峰会】 阿里技术架构演变 视频回顾 PDF下载 云数据库OceanBase架构 视频回顾 PDF下载 支付宝亿级APP运维实践 视频回顾 PDF下载 蚂蚁开放平台技术路线及行业 视频回顾 PDF下载 … Continue reading 300+篇运维、数据库等实战资料免费下载

日志-nginx的access_log与error_log

前言 前边介绍了apache服务器下的访问日志与错误日志的介绍查看与简单的分析 那么本篇介绍一下在nginx服务器的的两种日志的查看。 查找日志存放地址 [plain] view plain copy find / -name nginx.conf 根据你找出来的地址,尽心vi编辑,进入nginx.conf文件进行查找路径 [plain] view plain copy vi /usr/servers/nginx/conf/nginx.conf 从而找到,我机子的两个日志存放地点: /var/logdata/nginx/access.log /var/logdata/nginx/error.log 查看access访问日志 [plain] view plain copy vi /var/logdata/nginx/access.log 访问日志分析 摘出来一段部分结果: [plain] view plain copy 100.109.195.91 - - [17/Feb/2017:00:08:11 +0800] "GET /data/upload/shop/common/loading.gif HTTP/1.0" 200 134 "http://www.mall121.com/" "Mozilla/4.0 (compatible; MSIE 8.0; Trident/4.0; Windows NT 6.1; SLCC2 2.5.5231; .NET CLR 2.0.50727; .NET CLR 4.1.23457; .NET CLR 4.0.23457; Media Center PC 6.0; MS-WK 8)" "140.205.201.12" 100.109.195.78 - - [17/Feb/2017:00:08:11 +0800] "GET /shop/templates/default/images/u-safe.png HTTP/1.0" 200 3675 "http://www.mall121.com/" "Mozilla/4.0 (compatible; MSIE 8.0; Trident/4.0; Windows NT 6.1; SLCC2 2.5.5231; .NET CLR 2.0.50727; .NET CLR 4.1.23457; .NET CLR 4.0.23457; Media Center PC 6.0; MS-WK 8)" "140.205.201.12" 100.109.195.26 - - [17/Feb/2017:00:08:11 +0800] "GET /data/upload/shop/adv/05240495346955824.jpg HTTP/1.0" 404 564 "http://www.mall121.com/" "Mozilla/4.0 (compatible; MSIE 8.0; Trident/4.0; Windows NT 6.1; SLCC2 2.5.5231; .NET CLR 2.0.50727; .NET CLR 4.1.23457; .NET CLR 4.0.23457; Media Center PC 6.0; MS-WK 8)" "140.205.201.12" 1.100.109.195.91 : $remote_addr : 客户端(用户)IP地址 2.[17/Feb/2017:00:08:11 +0800]: $time_local  :访问时间 3."GET /data/upload/shop/common/loading.gif HTTP/1.0"  : "$request"get请求的url地址(目标url地址)的host 4.200: '$status请求状态(状态码,200表示成功,404表示页面不存在,301表示永久重定向等,具体状态码可以在网上找相关文章,不再赘述) 5. 134 : $body_bytes_sent :请求页面大小,默认为B(byte 6."http://www.mall121.com/" : … Continue reading 日志-nginx的access_log与error_log

如何删除docker images/containers

docker images往往不知不觉就占满了硬盘空间,为了清理冗余的image,可采用以下方法: 1.进入root权限 sudo su 2.停止所有的container,这样才能够删除其中的images: docker stop $(docker ps -a -q) 如果想要删除所有container的话再加一个指令: docker rm $(docker ps -a -q) 3.查看当前有些什么images docker images 4.删除images,通过image的id来指定删除谁 docker rmi <image id> 想要删除untagged images,也就是那些id为<None>的image的话可以用 docker rmi $(docker images | grep "^<none>" | awk "{print $3}") 要删除全部image的话 docker rmi $(docker images -q)

使用kubeadm安装Kubernetes v1.10以及常见问题解答

http://blog.51cto.com/devingeng/2096495 关于K8S: Kubernetes是Google开源的容器集群管理系统。它构建于docker技术之上,为容器化的应用提供资源调度、部署运行、服务发现、扩 容缩容等整一套功能,本质上可看作是基于容器技术的mini-PaaS平台。 相信看过我博客的童鞋应该知道,我在14年的时候就发表了一篇名为Docker容器管理之Kubernetes当时国内Docker刚刚兴起,对于Docker的兴起我很有感触,仿佛一瞬间就火了,当时也是一个偶然的机会了解到K8S,所以当时就写文简单的介绍了下K8S以及如何采用源码部署。今时不同往日K8S在容器界已经是翘首,再读旧文有感而发,索性来研究下kubeadm安装K8S以及Dashboard功能预览。 环境描述: 采用CentOS7.4 minimual,docker 1.13,kubeadm 1.10.0,etcd 3.0, k8s 1.10.0 我们这里选用三个节点搭建一个实验环境。 10.0.100.202 k8smaster 10.0.100.203 k8snode1 10.0.100.204 k8snode2 准备环境: 1.配置好各节点hosts文件 2.关闭系统防火墙 3.关闭SElinux 4.关闭swap 5.配置系统内核参数使流过网桥的流量也进入iptables/netfilter框架中,在/etc/sysctl.conf中添加以下配置: 1 2 3 4 5 net.bridge.bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-ip6tables = 1 sysctl -p 使用kubeadm安装: 1.首先配置阿里K8S YUM源 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes … Continue reading 使用kubeadm安装Kubernetes v1.10以及常见问题解答

企业自动化运维ansible

https://blog.csdn.net/itlinuxp/article/details/79561184 自动化运维工具ansible 运维自动化发展历程及技术应用 云计算工程师核心职能 Linux运维工程师职能划分 自动化动维应用场景 文件传输 命令执行 应用部署 配置管理 任务流编排 企业实际应用场景分析 1 Dev开发环境 使用者:程序员 功能:程序员开发软件,测试BUG的环境 管理者:程序员 1 2 3 2 测试环境 使用者:QA测试工程师 功能:测试经过Dev环境测试通过的软件的功能 管理者:运维 说明:测试环境往往有多套,测试环境满足测试功能即可,不宜过多 (1)测试人员希望测试环境有多套,公司的产品多产品线并发,即多个版本,意味着多个版本同步测试 (2)通常测试环境有多少套和产品线数量保持一样 1 2 3 4 5 6 3 发布环境:代码发布机,有些公司为堡垒机(安全屏障) 使用者:运维 功能:发布代码至生产环境 管理者:运维(有经验) 发布机:往往需要有2台(主备) 1 2 3 4 4 生产环境 使用者:运维,少数情况开放权限给核心开发人员,极少数公司将权限完全开放给开发人员并其维护 功能:对用户提供公司产品的服务 管理者:只能是运维 生产环境服务器数量:一般比较多,且应用非常重要。往往需要自动工具协助部署配置应用 1 2 3 4 5 … Continue reading 企业自动化运维ansible

Linux下Hadoop2.7.1集群环境的搭建(超详细版)

https://www.cnblogs.com/zishengY/p/6819160.html 本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。 一、基础环境 在Linux上安装Hadoop之前,需要先安装两个程序: 1.1 安装说明 1. JDK 1.6或更高版本(本文所提到的安装的是jdk1.7); 2. SSH(安全外壳协议),推荐安装OpenSSH。 下面简述一下安装这两个程序的原因: 1. Hadoop是用Java开发的,Hadoop的编译及MapReduce的运行都需要使用JDK。 2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程,因此SSH也是必须安装的,即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式,Hadoop会采用与集群相同的处理方式,即依次序启动文件conf/slaves中记载的主机上的进程,只不过伪分布式中salve为localhost(即为自身),所以对于伪分布式Hadoop,SSH一样是必须的。 1.1 JDK的安装与配置 1、上传压缩包 我这里使用的是WinScp工具 上传jdk-7u76-linux-x64.tar.gz压缩包 2、解压压缩包 tar -zxvf jdk-7u76-linux-x64.tar.gz 3、将解压的目录移动到/usr/local目录下 mv /lutong/jdk1.7.0_76/ /usr/local/ 4、配置环境变量 vim /etc/profile 5、重新加载/etc/profile,使配置生效 source /etc/profile 6、查看配置是否生效 echo $PATH java -version 出现如上信息表示已经配置好了。 二、Host配置 由于我搭建Hadoop集群包含三台机器,所以需要修改调整各台机器的hosts文件配置,进入/etc/hosts,配置主机名和ip的映射,命令如下: vim /etc/hosts 如果没有足够的权限,可以切换用户为root。 三台机器的内容统一增加以下host配置: 可以通过hostname来修改服务器名称为master、slave1、slave2 hostname master   三、Hadoop的安装与配置 3.1 创建文件目录 为了便于管理,给Master的hdfs的NameNode、DataNode及临时文件,在用户目录下创建目录: /data/hdfs/name /data/hdfs/data /data/hdfs/tmp … Continue reading Linux下Hadoop2.7.1集群环境的搭建(超详细版)

MySQL数据库 Event 定时执行任务.

一、背景 由于项目的业务是不断往前跑的,所以难免数据库的表的量会越来越庞大,不断的挤占硬盘空间。即使再大的空间也支撑不起业务的增长,所以定期删除不必要的数据是很有必要的。在我们项目中由于不清理数据,一个表占的空间竟然达到了4G之多。想想有多可怕... 这里介绍的是用MySQL 建立一个定时器Event,定期清除掉之前的不必要事件。 二、内容 #1、建立存储过程供事件调用 delimiter// drop procedure if exists middle_proce// create procedure middle_proce() begin DELETE FROM jg_bj_comit_log WHERE comit_time < SUBDATE(NOW(),INTERVAL 2 MONTH); optimize table jg_bj_comit_log; DELETE FROM jg_bj_order_create WHERE created_on < SUBDATE(NOW(),INTERVAL 3 MONTH); optimize table jg_bj_order_create; DELETE FROM jg_bj_order_match WHERE created_on < SUBDATE(NOW(),INTERVAL 3 MONTH); optimize table jg_bj_order_match; DELETE FROM jg_bj_order_cancel … Continue reading MySQL数据库 Event 定时执行任务.

Tomcat 日志分割.

一、前言 随着每天业务的增长,Tomcat 的catalina.out日志 变得越来越大,占用磁盘空间不说。要查看某个时候的日志的时候,庞大的日志让你顿时无从下手,所以日志的切割的变得刻不容缓。而且,切割后的日志,还可以定期清理掉久远的日志...... 二、Tomcat 日志分割 我们采用日期形式切割catalina.out 日志,因此采用cronlog 软件切割: 1、安装 cronlog  yum install -y cronolog httpd 2、修改bin/catalina.sh文件 (1)   if [ -z "$CATALINA_OUT" ] ; then CATALINA_OUT="$CATALINA_BASE"/logs/catalina.out fi 改为: if [ -z "$CATALINA_OUT" ] ; then CATALINA_OUT="$CATALINA_BASE"/logs/%Y-%m-%d.catalina.out fi (2)  touch "$CATALINA_OUT" 改为: #touch "$CATALINA_OUT" (3)  org.apache.catalina.startup.Bootstrap "$@" start \ >> "$CATALINA_OUT" 2>&1 "&" 改为: org.apache.catalina.startup.Bootstrap "$@" start 2>&1 … Continue reading Tomcat 日志分割.