大数据--VMware搭建虚拟机集群

什么是IP地址?

这个问题,首先你要了解一下什么是IP地址:
人们为了通信方便给每一台计算机都事先分配一个类似电话号码一样的标识地址,即IP地址。
根据TCP/IP协议,IP地址由32位二进制数组成,而且在INTERNET范围内是唯一的。
如:某IP地址为11000000 10101000 00001010 00000010
为了方便记忆,人们把32位的IP地址分成四段,每段8位,中间用小数点“.”隔开,然后再将每8位二进制换成十进制,
例如:192.168.0.0 就是由每8位二进制转换而成的
IP地址又分为:固定IP和动态IP
固定IP地址是长期分配给一台计算机或网络设备使用的IP地址。一般来说,采用专线上网的计算机才拥有固定的IP地址。
动态IP地址:当您拨号(或以其他方式)连接互联网时,通常您会从您的ISP(互联网服务商)分配到一个动态的IP地址。这意味着您每次连接互联网时得到的IP地址是不同的。尽管这不影响您访问互联网,但是您的朋友、商业伙伴(他们可能这时也在互联网上)却不能访问到您。因为,他们不知道您的计算机在哪里。这就像每个人都有一部电话,但电话号码每天都在改变。

logo

我们常用的电信信号光纤是属于哪种呢?

静态IP也叫固定IP,一般运营商用来作为专线宽带提供给企业用户。价格较高。是从用户处直接光纤到运营商机房,用户专享开通的带宽,带宽不受周围用户的影响。静态IP地址一般都用在专线网络上,比如网吧所用的网线。电信公司通常会给网吧分配固定的IP地址,永远都不会变化的,像这种网络就要在路由器上输IP地址来连接。价格和质量也是不一样的哦,要不然怎么能带几十台甚至是上百台电脑。

动态IP是普通用户常用的方式,光纤入户接光猫,通过光猫拨号上网。例如家庭用户开通的10M宽带,是从用户家到运营商机房交换机开通的是10M,交换机上联的端口是小区用户共享,如果小区内其他用户很少,那你这10M是和专线一样的。但如果小区内用户多了,大家共用交换机总出口带宽,可能实际就达不到10M带宽了。
当你从邻居家路由器那里连一条线过来,然后自己又想再用一个路由器分几台电脑,上头的路由器用的是DHCP分配IP地址的,那下头的路由器就要用动态IP,让路由器自动获取IP地址。不用输入任何东西。
设置动态IP连接有一点要非常非常注意的地方。就是要更改LAN接口的IP地址。更改成除192.168.1.1所在的网段之外的其它网段,如192.168.2.1或者172.16.0.1都行。因为现在大部分路由器厂商设置的LAN接口的IP地址都是192.168.1.1,下头路由器WAN接口从上头路由器那里获取的IP地址一般都是192.168.1.1所在的网段,这会和下头LAN接口的网段冲突,获取不到IP地址的,也就是上不了网。说简单点就是一个路由器的WAN外网接口和LAN内网接口不能是同一个网段。

通过cmd命令也可以知道自己的宽带是属于哪种?

  • 单击开始,在运行中输入cmd。
  • 然后在命令提示符输入‘ipconfig空格/all’查看本地连接‘dhcp Enable’这项(如下图)
  • 如果为NO则是静态的,如果为yes则是动态的。

VMware

VMware,Inc. (Virtual Machine ware)是一个“虚拟PC”软件公司,提供服务器、桌面虚拟化的解决方案。其虚拟化平台的产品包括播放器;它能使个人用台式电脑运行虚拟机器,融合器,它是用户基于英特尔结构苹果机的桌面虚拟化产品,工作站的软件开发商和企业的资讯科技专才,能使虚拟分区的服务器,ESX服务器(一种能直接在硬件上运行的企业级的虚拟平台),虚拟的SMP让一个虚拟机同时使用四个物理处理器,和VMFS使多个ESX服务器分享块存储器。
该公司还提供一个虚拟中心来控制和管理虚拟化的IT环境;VMotion 让用户可以移动虚拟机器;DRS从物理处理器创造资源工具;HA 提供从硬件故障自动回复功能;综合备份可使LAN-free自动备份虚拟机器;VMotion存储器可允许虚拟机磁盘自由移动;更新管理器自动更新修补程序和更新管理;能力规划能使VMware的服务供应商执行能力评估;转换器把本地和远程物理仪器转换到虚拟机器;实验室管理可自动化安装,捕捉,存储和共享,多机软件配置;ACE允许桌面系统管理包括公司资源以防止不可控台式电脑带来的风险。
虚拟桌面基础设施可主导个人台式电脑在虚拟机运行的中央管理器;虚拟桌面管理,它是联系用户到数据库中的虚拟电脑的桌面管理服务器;VMware 生命管理周期可通过虚拟环境提供控制权,实现计算机的多性能。该公司成立于1998,总部在加州的Palo Alto。
它的产品可以使你在一台机器上同时运行二个或更多Windows、DOS、LINUX系统。与“多启动”系统相比,VMWare采用了完全不同的概念。多启动系统在一个时刻只能运行一个系统,在系统切换时需要重新启动机器。
VMWare是真正“同时”运行,多个操作系统在主系统的平台上,就象标准Windows应用程序那样切换。而且每个操作系统你都可以进行虚拟的分区、配置而不影响真实硬盘的数据,你甚至可以通过网卡将几台虚拟机用网卡连接为一个局域网,极其方便。安装在VMware操作系统性能上比直接安装在硬盘上的系统低不少,因此,比较适合学习和测试。

如何使用VMware虚拟机软件搭建伪机集群?

因为要用到大数据的Hadoop框架进行学习,我们要利用VMware来搭建3台伪机(Linux系统)以供学习
Hadoop的虚拟机环境分为apache版本和CDH版本的
apache版本的比较不吃硬件设备,可以通过伪机群来实现大数据框架,而CDH版本则吃硬件,需要实机搭建。

搭建三台Linux系统伪机

CentOS

CentOS(Community Enterprise Operating System,中文意思是:社区企业操作系统)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS并不包含封闭源代码软件。
CentOS 是一个基于Red Hat Linux 提供的可自由使用源代码的企业级Linux发行版本。每个版本的 CentOS都会获得十年的支持(通过安全更新方式)。新版本的 CentOS 大约每两年发行一次,而每个版本的 CentOS 会定期(大概每六个月)更新一次,以便支持新的硬件。这样,建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。[1] CentOS是Community Enterprise Operating System的缩写。
CentOS 是RHEL(Red Hat Enterprise Linux)源代码再编译的产物,而且在RHEL的基础上修正了不少已知的 Bug ,相对于其他 Linux 发行版,其稳定性值得信赖。

除了CentOS是Linux的发行版之一
发行版为许多不同的目的而制作, 包括对不同计算机结构的支持, 对一个具体区域或语言的本地化,实时应用,和嵌入式系统,甚至许多版本故意地只加入免费软件。已经有超过三百个发行版被积极的开发,最普遍被使用的发行版有大约十二个。

  • Fedora Core
    Fedora Core(自第七版直接更名为Fedora)是众多 Linux 发行版之一。它是一套从Red Hat Linux发展出来的免费Linux系统。Fedora Core 的前身就是Red Hat Linux。Fedora是一个开放的、创新的、前瞻性的操作系统和平台,基于Linux。它允许任何人自由地使用、修改和重发布,无论现在还是将来。它由一个强大的社群开发,这个社群的成员以自己的不懈努力,提供并维护自由、开放源码的软件和开放的标准。Fedora 项目由 Fedora 基金会管理和控制,得到了 Red Hat, Inc. 的支持。Fedora 是一个独立的操作系统,是Linux的一个发行版,可运行的体系结构包括 x86(即i386-i686), x86_64 和 PowerPC。
  • Debian
    Debian Project诞生于1993年8月13日,它的目标是提供一个稳定容错的Linux版本。支持Debian的不是某家公司,而是许多在其改进过程中投入了大量时间的开发人员,这种改进吸取了早期Linux的经验。
    Debian以其稳定性著称,虽然它的早期版本Slink有一些问题,但是它的现有版本Potato已经相当稳定了。这个版本更多的使用了 pluggable authentication modules (PAM),综合了一些更易于处理的需要认证的软件(如winbind for Samba)。
    Debian的安装完全是基于文本的,对于其本身来说这不是一件坏事。但对于初级用户来说却并非这样。因为它仅仅使用fdisk 作为分区工具而没有自动分区功能,所以它的磁盘分区过程令人十分讨厌。磁盘设置完毕后,软件工具包的选择通过一个名为dselect的工具实现,但它不向用户提供安装基本工具组(如开发工具)的简易设置步骤。最后需要使用anXious工具配置X Windows,这个过程与其他版本的X Windows配置过程类似。完成这些配置后,Debian就可以使用了。
    Debian主要通过基于Web的论坛和邮件列表来提供技术支持。作为服务器平台,Debian提供一个稳定的环境。为了保证它的稳定性,开发者不会在其中随意添加新技术,而是通过多次测试之后才选定合适的技术加入。当前最新正式版本是Debian 6,采用的内核是Linux 2.6.32。Debian 6 第一次 包含了一个100%开源的Linux内核,这个内核中不再包含任何闭源的硬件驱动。所有的闭源软件都被隔离成单独的软件包,放到Debian软件源的 “non-free” 部分。由此,Debian用户便可以自由地选择是使用一个完全开源的系统还是添加一些闭源驱动。[1]
  • Mandrake
    MandrakeSoft,Linux Mandrake的发行商,在1998年由一个推崇Linux的小组创立,它的目标是尽量让工作变得更简单。最终,Mandrake给人们提供了一个优秀的图形安装界面,它的最新版本还包含了许多Linux软件包。
    作为Red Hat Linux的一个分支,Mandrake将自己定位在桌面市场的最佳Linux版本上。但该公司还是支持服务器上的安装,而且成绩并不坏。Mandrake的安装非常简单明了,为初级用户设置了简单的安装选项。它完全使用GUI界面,还为磁盘分区制作了一个适合各类用户的简单GUI界面。软件包的选择非常标准,另外还有对软件组和单个工具包的选项。安装完毕后,用户只需重启系统并登录进入即可。
    Mandrake主要通过邮件列表和Mandrak 自己的Web论坛提供技术支持。Mandrak对桌面用户来说是一个非常不错的选择,它还可作为一款优秀的服务器系统,尤其适合Linux新手使用。它使用最新版本的内核,拥有许多用户需要在Linux服务器环境中使用的软件——数据库和Web服务器。
    Mandrak没有重大的软件缺陷,只是它更加关注桌面市场,较少关注服务器市场。
  • Ubuntu
    Ubuntu是一个以桌面应用为主的Linux操作系统,其名称来自非洲南部祖鲁语或豪萨语的“ubuntu”一词(译为吾帮托或乌班图),意思是“人性”、“我的存在是因为大家的存在”,是非洲传统的一种价值观,类似华人社会的“仁爱”思想。Ubuntu基于Debian发行版和unity桌面环境,与Debian的不同在于它每6个月会发布一个新版本。Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统。Ubuntu具有庞大的社区力量,用户可以方便地从社区获得帮助。随着云计算的流行,ubuntu推出了一个云计算环境搭建的解决方案,可以在其官方网站找到相关信息。于2012年4月26日发布最终版ubuntu 12.04,ubuntu 12.04是长期支持的版本。
  • Red Hat Linux
    可能这是最著名的Linux版本了,Red Hat Linux已经创造了自己的品牌,越来越多的人听说过它。Red Hat在1994年创业,当时聘用了全世界500多名员工,他们都致力于开放的源代码体系。
    Red Hat Linux是公共环境中表现上佳的服务器。它拥有自己的公司,能向用户提供一套完整的服务,这使得它特别适合在公共网络中使用。这个版本的Linux也使用最新的内核,还拥有大多数人都需要使用的主体软件包。
    Red Hat Linux的安装过程也十分简单明了。它的图形安装过程提供简易设置服务器的全部信息。磁盘分区过程可以自动完成,还可以选择GUI工具完成,即使对于 Linux新手来说这些都非常简单。选择软件包的过程也与其他版本类似;用户可以选择软件包种类或特殊的软件包。系统运行起来后,用户可以从Web站点和 Red Hat那里得到充分的技术支持。我发现Red Hat是一个符合大众需求的最优版本。在服务器和桌面系统中它都工作得很好。Red Hat的唯一缺陷是带有一些不标准的内核补丁,这使得它难于按用户的需求进行定制。 Red Hat通过论坛和邮件列表提供广泛的技术支持,它还有自己公司的电话技术支持,后者对要求更高技术支持水平的集团客户更有吸引力。
  • SuSE
    总部设在德国的SuSE AG在商界已经奋斗了8年多,它一直致力于创建一个连接数据库的最佳Linux版本。为了实现这一目的,SuSE与Oracle 和IBM合作,以使他们的产品能稳定地工作。SuSE还开发了SuSE Linux eMail Server III,一个非常稳定的电子邮件群组应用。
    基于2.4.10内核的SuSE 7.3,在原有版本的基础上提高了易用性。安装过程通过GUI完成,磁盘分区过程也非常简单,但它没有为用户提供更多的控制和选择。
    在SuSE 操作系统下,可以非常方便地访问Windows磁盘,这使得两种平台之间的切换,以及使用双系统启动变得更容易。SuSE的硬件检测非常优秀,该版本在服务器和工作站上都用得很好。
    SuSE拥有界面友好的安装过程,还有图形管理工具,可方便地访问Windows磁盘,对于终端用户和管理员来说使用它同样方便,这使它成为了一个强大的服务器平台。 SuSE也通过基于Web的论坛提供技术支持,另外我还发现它有电话技术支持。
  • Linux Mint
    Linux Mint是一份基于Ubuntu的发行版,其目标是提供一种更完整的即刻可用体验,这包括提供浏览器插件、多媒体编解码器、对DVD播放的支持、Java和其他组件。它与Ubuntu软件仓库兼容。Linux Mint 是一个为pc和X86电脑设计的操作系统。
    因此,一个可以跑得动Windows的电脑也可以使用Linux Mint来代替Windows,或者两个都跑。既有Windows又有Linux的系统就是传说中的“双系统”。同样,MAC,BSD或者其他的Linux版本也可以和Linux Mint 共存。一台装有多系统的电脑在开机的时候会出现一个供你选择操作系统的菜单。Linux Mint可以很好的在一个单系统的电脑上运行,但是它也可以自动检测其他操作系统并与其互动,例如,如果你安装Linux Mint在一个安装了Windows版本的(xp,vista或者其他版本),它会自动检测并建立双启动以供您在开机的时候选择启动哪个系统。并且你可以在Linux Mint下访问Windows分区。Linux是更安全,更稳定,更有效并且日益易于操作的甚至可以和Windows相媲美的系统,它越来越让人感到难以抉择了。
  • Gentoo
    Gentoo是Linux世界最年轻的发行版本,正因为年轻,所以能吸取在她之前的所有发行版本的优点。Gentoo最初由Daniel Robbins(FreeBSD的开发者之一)创建,首个稳定版本发布于2002年。由于开发者对FreeBSD的熟识,所以Gentoo拥有媲美FreeBSD的广受美誉的ports系统 ——Portage包管理系统。
  • centos
    CentOS(Community ENTerprise Operating System)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS并不包含封闭源代码软件,CentOS 是一个基于Red Hat Linux 提供的可自由使用源代码的企业级Linux发行版本。每个版本的 CentOS都会获得十年的支持(通过安全更新方式)。新版本的 CentOS 大约每两年发行一次,而每个版本的 CentOS 会定期(大概每六个月)更新一次,以便支持新的硬件。这样,建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。CentOS是Community Enterprise Operating System的缩写。
    CentOS 是RHEL(Red Hat Enterprise Linux)源代码再编译的产物,而且在RHEL的基础上修正了不少已知的 Bug ,相对于其他 Linux 发行版,其稳定性值得信赖。
    RHEL 在发行的时候,有两种方式。一种是二进制的发行方式,另外一种是源代码的发行方式。

CentOS在2014初,宣布加入Red Hat。

Red Hat

Red Hat(红帽)公司(NYSE:RHT)是一家开源解决方案供应商,也是标准普尔500指数成员。总部位于美国北卡罗来纳州的罗利市,截止2015年3月3日,共有80多个分公司。红帽公司为诸多重要IT技术如操作系统、存储、中间件、虚拟化和云计算提供关键任务的软件与服务。红帽的开放源码模式提供跨物理、虚拟和云端环境的企业运算解决方案,以帮助企业降低成本并提升效能、稳定性与安全性。红帽公司同时也为全球客户或通过领先合作伙伴为客户提供技术支持、培训和咨询服务。
红帽的商业模式,简单的说就是红帽将开源社区项目产品化,使普通企业客户更容易消费
开源创新技术的一种方法。 从用户角度来看,不同的投资预算与研发能力的企业都可以通过红帽获得开源软件的价值。

红帽产品涉及5大技术领域:云计算、存储、虚拟化、中间件、操作系统。

云计算
(1)红帽企业Linux OpenStack平台
(2)红帽OpenShift(PASS 产品)
(3)红帽CloudForms (混合云管理平台)
(4)红帽云基础架构(Cloud Infrastructure)
存储
(1)红帽Inktank Ceph Enterprise为部署公有云或私有云的企业(包括许多OpenStack的早期采用者)提供了对象和数据块存储软件。
(2)红帽存储服务器(Red Hat Storage Server)的先进性能可充分适应数据密集型企业的任务负载,满足包括大数据、运营分析、企业文件共享与协同等在内的数据处理。
虚拟化
红帽企业虚拟化产品提供了先进的开源企业虚拟化功能,使客户能够优化传统的虚拟化任务负载,为通过OpenStack实现云部署提供一个入口。红帽企业虚拟化帮助企业客户实现传统虚拟化基础架构的流线化和优化,同时为私有云能力奠定了基础。
中间件
红帽JBoss中间件通过提供快速构建将人员、流程和信息连接在一起的系统所需的工具,来帮助组织发展其中间件基础架构。红帽JBoss中间件主要产品有红帽JBoss企业应用平台、JBoss Web服务器、JBoss 数据网格、JBoss 开发人员工作室、JBoss门户、JBoss运营网络,JBoss Fuse (企业服务总线-ESB),JBoss A-MQ(消息中间件)、JBoss数据虚拟化、JBoss Fuse Service Works、JBoss BRMS,JBoss BPM套件等。
操作系统
(1)红帽企业Linux
红帽在2014年6月发布了最新旗舰版企业操作系统——红帽企业Linux 7。基于红帽企业Linux 7操作系统,企业可整合裸机服务器、 虚拟机、基础设施即服务(IaaS)和平台即服务(PaaS),以构建一个强大稳健的数据中心环境,满足不断变化的业务需求。
(2)红帽卫星
红帽卫星是一个综合性解决方案,它通过配置软件分发、补丁和配置管理,以及物理、虚拟和云环境的订阅管理为红帽系统提供完整的生命周期管理,为管理构建、部署、运行和淘汰系统所需的工具提供了单独的管理控制台和方法论。

在经过严格的基于表现的考试后,经过认证的红帽专业人员保证了企业从其红帽解决方案中获得最大的回报。
(1)红帽认证架构师(RHCA)
(2)红帽认证系统管理员 (RHCSA)
(3)红帽认证工程师(RHCE)

如果你使用Red Hat软件包管理器来管理Linux软件,应该详细了解Red Hat软件仓库的原理,这有助于使用Linux命令将让你更容易管理Red Hat软件。
Linux软件包管理使用的Red Hat软件库,Red Hat提供了软件包的安装源。Red Hat管理器会自动查找库和安装包的依赖关系。如果没有Red Hat软件库管理系统,要解决这些Red Hat软件包的依赖关系是一种烦恼。
按目前的Linux分布情况,主要是的软件库管理系统是Red Hat的软件库管理系统,主要用在Red Hat Enterprise Linux(RHEL)和其他Red Hat Linux的衍生系统上,如Fedora、CentOS。Red Hat软件库管理系统使用默认的Red Hat软件包格式。Red Hat用.rpm,这些Red Hat软件包是将软件和元数据压缩和档案。Red Hat元数据提供了有关Red Hat软件的版本信息,以及Red Hat软件包的依赖关系。
但Red Hat软件包的数据库与软件库很容易混淆。虽然通过Red Hat软件库管理使这些软件包可以让工作更简单,但这些Red Hat软件包同时有另一个数据库。这意味着Red Hat软件包的信息来源可以有多个:包数据库和软件库数据库。
使用Red Hat包数据库工作
Red Hat包数据库是软件安装了什么在Linux系统里最重要的信息来源。Red Hat包数据库从服务器上检索当前安装的软件,Red Hat包文件通常是一个丰富的文档和软件使用的信息源,这对于Linux系统Red Hat软件包之间的依赖关系非常有用。
在基于Red Hat软件包的Linux服务器,使用Red Hat的rpm命令从数据库里获取信息
使用Red Hat软件仓库工作
在安装新的Red Hat软件或进行软件升级,系统管理员通常使用Red Hat软件仓库。尤其是更新Red Hat服务器补丁的时候,Red Hat软件仓库会更方便:Red Hat软件包管理器只需要更新新的软件包,使Red Hat自动可用,库用户便可以使用Red Hat,这过程完全是透明的。
在基于Red Hat软件仓库的系统,使用Red Hat的yum命令请求包的信息和执行任务,如Red Hat更新和安装软件。Red Hat的yum可以周期性的自动下载和更新软件仓库的索引文件。
Red Hat系统会自动比较了软件仓库的Red Hat安装包和安装在本地系统的Red Hat软件包列表,以确定一个Red Hat包已经安装,或者是否有可用的更新。
Red Hat软件仓库管理系统在处理软件包依赖关系非常好用:目前所有的Linux都提供了丰富的Red Hat资料库,并提供必要的Red Hat依赖,这意味着Linux管理员对Red Hat软件包的依赖恐惧大大减少了。
Red Hat软件仓库中没有的包
Red Hat软件仓库中没有的软件,意味着Red Hat安装起来比较困难。管理员可以创建自己的Red Hat软件库和复制本地的软件包。这也让管理员从库安装自定义Red Hat软件包的时候,进一步减少Red Hat依赖问题。

利用VMware搭建centOS环境

VMware下安装Linux系统,以CentOS为例

坚持原创技术分享,您的支持将鼓励我继续创作!
+