Proxmox VE

Proxmox VE是一个系统,专门用作管理虚拟机
http://pve.proxmox.com/wiki/Downloads
https://pve.proxmox.com/wiki/Category:HOWTO

安装
iso安装,就像安装ubuntu系统
1,install
2, 接下来是一个协议,选择我同意,然后下一步。
3, 填写root密码和管理员的联络邮箱
4, 填写主机名和本机网络,IP信息
(!!主机名开头不能相同,在做集群的时候会加不进去节点)
例:master.pev
worker01.pev
worker02.pev
系统启动后,系统会用第一个.之前作为主机名,如果相同,可能会发生冲突导致加不到集群节点
5, 安装完成reboot

访问:
https://192.168.20.15:8006 到达登陆页面,使用root和密码登陆,可选择中文
也可以採用文字模式的 ssh 登入 proxmox 主機、 以 debian 的指令管理系統、 以 vzctl 指令管理 OpenVZ container

创建VM
就是普通的虚拟机,下载的ISO文件放入服务器/var/lib/vz/template/iso目录
创建CT
ct就是利用openvz虚拟技术创建的虚拟机,系统模板可以到OpenVZ官网去下载,以tar.gz后缀,放入服务器/var/lib/vz/template/cache目录
opvenvz
是基于Linux内核的虚拟化技术

运行 pveversion -v 命令以检查各种软件包的版本

qm    虚拟机管理命令
https://pve.proxmox.com/wiki/Manual:_qm
qm list 虚拟机列表
qm clone <vmid> <newid> [OPTIONS]  克隆
-description string
-format    (qcow2 | raw | vmdk)
-full      boolean   (default=0)  完全克隆
-name      string  名字
-snapname  string
qm config <vmid> [OPTIONS]  获取配置文件
-current   boolean   (default=0)  当前的
qm destroy <vmid> [OPTIONS]  摧毁
-skiplock  boolean  强制
qm delsnapshot <vmid> <snapshotname> [OPTIONS]  删除快照
-force     boolean 强制
qm resize <vmid> <disk> <size> [OPTIONS]  硬盘扩容
qm rollback <vmid> <snapname>  回滚
qm unlock <vmid> 解锁
qm set <vmid> [OPTIONS] 设置
-autostart boolean   (default=0)  崩溃后自动启动
-onboot    boolean   (default=0) 主机开机启动(0是不启动)
-kvm      boolean   (default=1) 支持kvm虚拟化
-lock      (backup | migrate | rollback | snapshot)  锁定不能做(备份|迁移|回滚|快照)
-protection boolean  (default=0)  设置保护,预防remove此虚拟机
-reboot    boolean   (default=1)  设置为0重启
-skiplock  boolean  强制(Ignore locks on root)
-serial[n] (/dev/.+|socket) 增加serial登陆方式
qm migrate vmid nodename
迁移机器
-online
-force
qm shutdown <vmid> [OPTIONS]
-forceStop boolean   (default=0) 确保关闭
-skiplock  boolean
-timeout   integer (0 – N)
qm snapshot <vmid> <snapname> [OPTIONS]  做快照
-description string  描述
-vmstate   boolean 保存vm描述
qm start <vmid> [OPTIONS]
-skiplock  boolean
qm stop <vmid> [OPTIONS]
-skiplock  boolean
qm suspend <vmid> [OPTIONS]  暂停虚拟机
-skiplock  boolean
qm status <vmid> [OPTIONS]
-verbose   boolean  详细输出
qm terminal <vmid> [OPTIONS]
qm monitor <vmid>  进入监示器接口
qm wait <vmid> [OPTIONS] 等待vm停止

利用serial登陆
https://pve.proxmox.com/wiki/Serial_Terminal
vi /etc/pve/qemu-server/101.conf  101是虚拟机的序号(qm list),增加:seria[0-3]
[PENDING]
serial0: socket
或者在主机上用命令增加
qm set 101 -serial0 socket
reboot
dmesg | grep ttyS
[    0.457814] 00:0a: ttyS0 at I/O 0x3f8 (irq = 4) is a 16550A
vi /etc/default/grub
GRUB_CMDLINE_LINUX=”quiet console=tty0 console=ttyS0″
更新grub
# debian based
update-grub
# redhat based
grub2-mkconfig –output=/boot/grub2/grub.cfg
登陆
qm terminal <VMiD>

***没验证***
刪除 Proxmox VE Cluster 設定
记住要先备份
確認所有node皆移除cluster
master 及各個node 執行以下指令:
1.停止 cluster sync 服務
/etc/init.d/pvemirror stop
2.停止 tunnel service 服務
/etc/init.d/pvetunnel stop
3.刪除 cluster 設定檔
rm /etc/pve/cluster.cfg
rm -rf /etc/pve/master
4.刪除相關的ssh設定內容
rm /root/.ssh/known_hosts
***没验证***
集群:
在A服务器上创建名字叫master的集群(主节点)
pvecm create master
在这里我做了在hosts里加入B服务器的hosts映射
在B服务器上加入master节点
pvecm add 192.168.20.20
查看集群的状态
pvecm nodes
pvecm status
造成無法加入集叢的原因有兩個:
1,節點自身已經隸屬於某一集叢
2,新的集叢本身已經有該節點的資料
增加节点(先删除才能增加):
记住要先备份删除的数据,后路!!!!
先在集群上操作:
先要删除节点上的kvm虚拟机
pvecm delnode nodename
如果提示:cluster not ready – no quorum?
执行:pvecm e 1   #告知只有一个节点在线
后登陆节点操作:
先删除(这里把所有的节点信息都删掉了):
/etc/init.d/pve-cluster stop
rm -rf /etc/corosync/*
rm -rf /var/lib/pve-cluster/*
rm -rf /var/lib/corosync/*
reboot
启动后登陆节点添加
pvecm add 集群名

删除集群:
/etc/init.d/pve-cluster stop
rm -rf /etc/corosync/*
rm -rf /var/lib/pve-cluster/*
rm -rf /var/lib/corosync/*
/etc/init.d/pve-cluster start
ha
2.0版本的配置
http://www.anjing.me/1417.html
http://my.oschina.net/kisops/blog/161599
4.x版本ha很简单
在ha界面把机器加进来,但是机器要安装在共享存储上面,
共享存储
ceph
在pve web界面添加rbd storage
ID为自定义
pool 就是一个逻辑卷
mon host 监控器服务器,只能用ip,多个用,相隔
username 默认admin ,没搞懂这个哪个用户
KRBD  如果是虚拟机(lxc,kvm)用,勾上这个,不然会报failed: exit code 1
添加后以下文件会有变化
cat /etc/pve/storage.cfg
rbd: ceph #ID
monhost 192.168.20.151,192.168.20.152,192.168.20.154
content images  #存储文件类型
pool rbd
username admin
krbd
nodes base03,base02
添加认证
mkdir /etc/pve/priv/ceph
scp xx@xx:xx/ceph.client.admin.keyring ./
更改ceph.client.admin.keyring的名字,改为:ID+.keyring
例创建一个ID是ceph的storage ,文件命名为ceph.keyring
到些界面上就可以看到这个storage的一些状态了
更换网络环境(换ip)
vi /etc/network/interfaces
vi /etc/hosts
> .ss/know_hosts
vi /var/lib/pve-cluster/config.db (重要)
查看 /etc/pve/corosync.conf是正确的

文件
/etc/pve/corosync.conf  记录各节点的信息,如果不属于某个节点,不会有这个文件
nodelist
这里是真正的节点联合节点信息
有时候pvecm node命令输出的信息不对,就要看这里,pvecm node的信息如果没有更新,目前只有重启解决
/etc/pve/node/**  下面是全节点的一些文件,pve-ssl.key是认证文件,没有这个文件会登陆不上web界面或者集群无法操作这个节点
/etc/pve/authkey.pub  这个是密钥文件,每个节点上都和集群的服务器文件内容一样
/etc/pve/storage.cfg  存储设备记录文件

错误:
刚创建启动虚拟机安装的时候提示:
Proxmox Error: start failed: command ‘/usr/bin/kvm
解决把kvm虚拟化去掉:Proxmox>Options> KVM hardware virtualization = No
加入集群提示authentication key already exists
可用pvecm add 192.168.20.20 -force   -force强制覆盖加入节点,然后/etc/init.d/pve-cluster restart

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.