CentOS 7 linux安装迅雷Xware实现远程下载

大家可以想象一个这样的场景,上班的时候听同事介绍了一个很好看的片子,找到资源后,直接通过远程迅雷下载,安心的工作,然后远程迅雷默默的将你的资源下载放到你家里的下载服务器上,回家后通过手机访问到你的下载服务器愉快的看片。是不是很方便呢? 一、材料准备 1、一台linux的机器作为下载服务器。 我的机器是一台老掉牙的台式机CUP是赛扬1G,内存1G,硬盘120G,废物利用装了个64位版CentOS 7,既然是下载机肯定要装个samba服务,方便局域网内其他设备访问。 2、下载迅雷Xware 我下载的版本是 Xware1.0.31_x86_32_glibc 下载地址:http://g.xunlei.com/thread-12545-1-1.html 二、安装 1、建立xunlei的安装目录 mkdir /home/xunlei 2、将安装包Xware1.0.31_x86_32_glibc解压后上传到该目录 chmod 777 -R /home/xunlei 将该目录设置读写执行权限 3、挂载下载目录 mount –bind /home/myshare /mnt/xunlei 我挂载的是samba的共享目录,这样通过远程下载的资源就可以直接在手机或电脑上访问了。...

systemd vs supervisord

过去我们项目组的应用都是用 supervisord 托管的。最近因为某些因素,无法使用 supervisord,因此考虑改用 systemd。 作为主流 Linux 发行版的默认选项,之前多多少少用过一点 systemd。不过这次需要上生产环境,所以抽空深入研究一番。 为什么要用 supervisord? 实现进程的分组管理,比如支持一同启动/停止多个生产者/消费者实例。 进程崩溃的时候可以重启 要想改用 systemd,需要看下 systemd 如何应对这两个问题。 (如无指明,在本文中,supervisord 的配置项在 [program:x] 下面,而 systemd 的配置项则位于 [Service]) 进程控制 无论 supervisord 还是...

Kafka史上最详细原理总结

Kafka Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。 1.前言 消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及实际应用效果。  1.1  Kafka的特性: – 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。 – 可扩展性:kafka集群支持热扩展 – 持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失 – 容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败) – 高并发:支持数千个客户端同时读写 1.2   Kafka的使用场景: – 日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer,例如hadoop、Hbase、Solr等。...

震惊了!原来这才是kafka!

简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横向扩容。单个parition内是保证消息有序。 每新写一条消息,kafka就是在对应的文件append写,所以性能非常高。 kafka的总体数据流是这样的: kafka data flow 大概用法就是,Producers往Brokers里面的指定Topic中写消息,Consumers从Brokers里面拉去指定Topic的消息,然后进行业务处理。 图中有两个topic,topic 0有两个partition,topic 1有一个partition,三副本备份。可以看到consumer gourp 1中的consumer 2没有分到partition处理,这是有可能出现的,下面会讲到。 关于broker、topics、partitions的一些元信息用zk来存,监控和路由啥的也都会用到zk。 生产 基本流程是这样的: kafka sdk product flow.png 创建一条记录,记录中一个要指定对应的topic和value,key和partition可选。 先序列化,然后按照topic和partition,放进对应的发送队列中。kafka produce都是批量请求,会积攒一批,然后一起发送,不是调send()就进行立刻进行网络发包。...

kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)

问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么?   一、入门     1、简介     Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。无论是kafka集群,还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。 <ignore_js_op>    2、Topics/logs     一个Topic可以认为是一类消息,每个topic将被分成多个partition(区),每个partition在存储层面是append log文件。任何发布到此partition的消息都会被直接追加到log文件的尾部,每条消息在文件中的位置称为offset(偏移量),offset为一个long型数字,它是唯一标记一条消息。它唯一的标记一条消息。kafka并没有提供其他额外的索引机制来存储offset,因为在kafka中几乎不允许对消息进行“随机读写”。...

JVM内存模型详解

JVM回顾 JVM = 类加载器(classloader) + 执行引擎(execution engine) + 运行时数据区域(runtime data area) 运行时数据区域  Java虚拟机在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途,以及创建和销毁的时间,有的区域随着虚拟机进程的启动而存在,有些区域则是依赖用户线程的启动和结束而建立和销毁。 程序计数器(Program Counter Register) 线程私有,它的生命周期与线程相同。可以看做是当前线程所执行的字节码的行号指示器。在虚拟机的概念模型里(仅是概念模型,各种虚拟机可能会通过一些更高效的方式去实现),字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指令,如:分支、循环、跳转、异常处理、线程恢复(多线程切换)等基础功能。如果线程正在执行的是一个Java方法,这个计数器记录的是正在执行的虚拟机字节码指令的地址;如果正在执行的是Natvie方法,这个计数器值则为空(undefined)。程序计数器中存储的数据所占空间的大小不会随程序的执行而发生改变,所以此区域不会出现OutOfMemoryError的情况。 Java虚拟机栈(JVM Stacks) 线程私有的,它的生命周期与线程相同。虚拟机栈描述的是Java方法执行的内存模型:每个方法被执行的时候都会同时创建一个栈帧(Stack Frame)用于存储局部变量表、操作栈、动态链接、方法出口等信息。每一个方法被调用直至执行完成的过程,就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。局部变量表存放了编译期可知的各种基本数据类型(boolean、byte、char、short、int、float、long、double)、对象引用(reference类型),它不等同于对象本身,根据不同的虚拟机实现,它可能是一个指向对象起始地址的引用指针,也可能指向一个代表对象的句柄或者其他与此对象相关的位置)和returnAddress类型(指向了一条字节码指令的地址)。局部变量表所需的内存空间在编译期间完成分配,当进入一个方法时,这个方法需要在帧中分配多大的局部变量空间是完全确定的,在方法运行期间不会改变局部变量表的大小。该区域可能抛出以下异常: 当线程请求的栈深度超过最大值,会抛出 StackOverflowError 异常;栈进行动态扩展时如果无法申请到足够内存,会抛出 OutOfMemoryError...

nginx通过ip-hash算法负载不均或不起效问题

现象:Nginx和客户端处于同一个局域网,使用ip_hash负载均衡策略,不同客户端的请求全部都分发到同一个后台服务器   原因: 1、请看官方解释: This directive causes requests to be distributed between upstreams based on the IP-address of the client. The key for the hash...

[问题排查] nginx ip_hash将所有请求转发到一台机器

问题描述:阿里云nginx ip_hash将所有请求转发到一台机器 排查:查看nginx的error.log, 发现大部分的client ip是来自于10.159.95网段 点击(此处)折叠或打开 2015/10/25 12:01:03 [warn] 21580#0: *12412231 an upstream response is buffered to a temporary file /home/work/nginx/proxy_temp/2/55/0000075552 while reading upstream, client: 10.159.95.***, server:...

nginx 配置 google代理

准备的东西 1.一个可以访问google的vps,推荐搬瓦工,120rmb/Y 2.一个垃圾域名(已经解析到该vps的ip),被封不心疼 3.nginx 4.ssl证书 ,可以使用xx免费一年的 1.easy模式,不需要ssl证书 tips: 听说有时候会被定向到google.com server { listen 80; server_name example.com; #你的域名 location / { proxy_pass http://www.google.com/; #需要反代的域名 proxy_redirect off; proxy_set_header...