大数据 - 技术教程文章
hadoop大数据平台架构之DKhadoop详解【图】
hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop大数据平台架构内容。目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等。虽然发行方不同，但在平台...
《Spark快速大数据分析》
1、Spark是一个用来实现快速而通用的集群计算的平台。2、Spark项目包含多个紧密集成的组件。有:Spark Core 实现Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark SQL 是Spark用来操作结构化数据的程序包。Spark Streaming 是Spark提供的对实时数据进行流式计算的组件。MLlib 是Spark包含的一个提供常见的机器学习功能的程序库。GraphX 是用来操作图计算的程序库。 原文：https://www.cnblogs....
大数据表同步
???????前段时间，项目组有需求需要对一个千万级的表进行数据同步，目标并不复杂，将用户的一张表数据同步到我们自己的数据库中，当然，中间需要关联几张关联的表数据。?????? 一开始，客户考虑到安全等因素，只提供数据表导出的csv文件，大小约为700多M，数据量1200w。LZ脑子一热，不假思索使用spring+ibatis开始搞起了代码，一个小应用大概用了一上午编写完毕，当时LZ为自己的小成就还沾沾自喜。但在当天下午的实际测试时，LZ被着...
【互动问答分享】第11期决胜云计算大数据时代Spark亚太研究院公益大讲堂【图】
650) this.width=650;" src="/upload/getfiles/default/2022/11/15/20221115023311561.jpg" title="11.png" />Q1：docker成熟度如何？ Docker是2013年和2014年最火爆的云计算开源项目； Baidu公司是中国使用Docker最为深入和最大规模的公司，线上稳定运行数十万个Docker容器，目前已经使用Docker全面全面升级了自己的BAE，升级后的BAE无论是性能还是业务表现均超出预期； Q2：Docker与云计算OpenStack之间定位究竟...
大数据学习路线（自己制定的，从零开始）
大数据已经火了很久了，一直想了解它学习它结果没时间，过年后终于有时间了，了解了一些资料，结合我自己的情况，初步整理了一个学习路线，有问题的希望大神指点。学习路线Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)机器学习(R,mahout)Storm(Storm,kafka,redis)Spark(scala,spark,spark core,spark sql,spark streaming,spark mllib,spark graphx)Python(python,sp...
大数据处理之道（十分钟学会Python）【图】
（0）文件夹高速学Python 和 易犯错误（文本处理）Python文本处理和Java/C比对十分钟学会Python的基本类型高速学会Python（实战）大数据处理之道（十分钟学会Python）一：python 简单介绍（1）Python的由来Python（英语发音：/?pa?θ?n/）, 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它可以...
揭秘腾讯大数据冰山一角【图】
一、人群画像1.什么是人群画像大数据？人群画像通过收集用户的行为特征、年龄特征、用户场景、地域特征、目标动机等一系列海量真实数据，建立用户模型，抽出典型目标用户针对性分析。650) this.width=650;" src="/upload/getfiles/default/2022/11/8/20221108092213363.jpg" title="1.png" />2.人群画像大数据有什么作用？现有的人群画像大多只是用来进行营销活动，通过已有建立人群画像，发掘潜在用户资源，然后对这类特定群体进...
引跑科技助力传统企业构建大数据价值体系【图】
650) this.width=650;" src="/upload/getfiles/default/2022/11/10/20221110073840607.jpg" title="1.png" />2015年8月11日，在工信部信息化推进司指导下，由国家两化融合创新推进联盟主办的第二届《云计算应用创新推进大会》在北京西苑酒店成功召开。大会将以“推进产业互联、探索工业4.0发展道路”为主题，深度探讨企业“云化”过程面临的挑战与问题，寻求最佳技术解决方案和实施路线，推进“企业云”建设，实现企业信息化的全面...
【大数据系列】hadoop核心组件-MapReduce
原文：http://www.cnblogs.com/dream-to-pku/p/7192413.html
Spark大数据处理框架入门(单机版)【代码】【图】
导读引言环境准备安装步骤 1.下载地址2.开始下载3.解压spark4.配置环境变量5.配置 spark-env.sh6.启动spark服务7.测试sparkstay hungry stay foolish.引言2012年,UC Berkelye 的ANPLab研发并开源了新的大数据处理框架Spark。其核心思想包括两方面：一方面对大数据处理框架的输入/输出、中间数据进行建模,将这些数据抽象为统一的数据结构,命名为弹性分布式数据集(Resilent Distributed Dataset,RDD),并在此数据结构上构建了一系列通...
大数据开发都需要什么技术？
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽...
大数据时代怎么做
目前的人工智能变得非常活跃，很多的工作面临被机器人替代，在未来需要人工作的东西越来越少，马云曾经说：三十年后，孩子们找不到工作。z那么，问题来了？该何去何从？随着人工智能的发展，未来人类每天只需工作4小时，每周只工作4天。随着科技的发展，需要更多的精力专注于人文社会的发展，尝试琴棋书画的创作，增进社会的和谐。 教育需要进行n重大变革，全靠死记硬背、算来算去的东西，将来必将遭到淘汰和诟病。在这种大变革的浪...
大数据结构生态体系
数据来源层 数据库日志视频，ppt数据传输层 Sqoop数据传递Flume日志收集kafka消息队列数据存储层 HDFS文件存储HBase非关系型数据库kafka（存储少量数据）资源管理层 YARN资源管理数据计算层 MapReduce离线计算 Hive数据查询Mahout数据挖掘Spark Core内存计算 Mahout数据挖掘SparkMlib数据挖掘Spark R数据分析Spark Sql数据查询Spark Streaming 实时计算（准实时-批处理）Storm实时计算（来了就计算）Flink任务调度层 Oozie任务调度...
大数据常见错误解决方案（转载）
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can‘t assign requested address: Service ‘sparkDriver‘ failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env.sh2、java Kafka producer error:ERROR kafka.utils.Utils$ - fetching topic metadata for topics [Set(words_topic)] from broker [ArrayBuffer(id:0,host: xxxxxx,port:9092)] failed解决方法：Set ‘ad...
大数据学习（16）—— HBase环境搭建和基本操作【代码】
部署规划HBase全称叫Hadoop Database，它的数据存储在HDFS上。我们的实验环境依然基于上个主题Hive的配置，参考大数据学习（11）—— Hive元数据服务模式搭建。在此基础上，增加HBase的部署规划。我感觉这8G的内存马上要跑不动了。主机RegionServerMasterserver01 ? server02 ? server03 ??安装HBase把HBase解压到/usr目录下，版本是2.26。[root@server01 home]# tar -xvf hbase-2.2.6-bin.tar.gz -C /usr/把解压好的目录权限修改为...
Hadoop大数据处理读书笔记【图】
几个关键性的概念云计算：是指利用大量计算节点构成的可动态调整的虚拟化计算资源，通过并行化和分布式计算技术，实现业务质量可控的大数据处理的计算技术。NameNode：是HDFS系统中的管理者，它负责管理文件系统的命名空间，维护文件系统的文件树以及所有的文件和目录的元数据。这些信息存储在NameNode维护的两个本地磁盘文件：命名空间镜像文件和编辑日志文件。同时，NameNode中还保存了每个文件与数据块所在的DataNode的对应关系...
从大数据菜鸟走上大师的历程【图】
Scala，一门为大数据而生的编程语言。对于进化缓慢的Java跟C++语言来说，目前Scala无疑更适应现代化特质的语言，语法简洁，同时兼备函数式编程与面向对象编程，具有令人耳目一新的编程范式。而运行在Java虚拟机上的编译环境使得其具有很多的现有工具与类库，拥有快速的可靠的解释器和编译器。大数据，这是一个言必谈及大数据的时代，到处是大数据论坛，连很多企业都要准备搞大数据，在不学习大数据你就out了。从Hadoop兴起的短短几...
大数据：Mapper输出缓冲区MapOutputBuffer【代码】
Mapper的输出缓冲区MapOutputBuffer 现在我们知道了Map的输入端，紧接着我们看map的输出，这里重点就是context.write这个语句的内涵。获取视频中文档资料及完整视频的伙伴请加QQ群：947967114搞清Mapper作为参数传给map的context，这里我们看Mapper的run被调用的时候作为了参数传递下来。调用Mapper.run的是MapTask. runNewMapper。到这里我们深究一下runNewMapper。我们看MapTask的run方法：我们重点看runNewMapperpublic void ru...
大数据学习
大数据是用scala语言，和java有些不同又比java强大，省去了很多繁琐的东西，scala中的的接口用trait来定义，不同于java的接口，trait中可以有抽象方法也可以有不抽象方法。scala中的方法中还可以定义方法，这在java中是从来没有的。大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向，中国在大数据方面才刚刚起步，但是在美国已经产生了上千亿的市场价值。举个例子，美国通用公司是一个生产飞机发动...
大数据学习——高可用配置案例【图】
（一）、failover故障转移在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示：（1）节点分配Flume的Agent和Collector分布如下表所示：名称Ip地址 Host角色Agent1192.168.200.101Itcast01 WebServerCollector1192.168.200.102Itcast02AgentMstr1Collector2192.168.200.103Itcast03AgentMstr2Agent1数据分别流入到Collector1和Collector2，Flume NG本身提供了Failover机制，可以自动切换...
超人学院大数据技术沙龙
头一次，参加技术沙龙哈哈哈哈哈第一个牛人演讲概要1.图计算2.Tungsten3.建议图存储与计算机中是一个矩阵，在矩阵中标识各个定点和边的属性。在图中求取关键路径则需要图计算，相对于hadoop的技术要快很多。主要因为图计算的每次迭代都会去掉一些信息（点和线）。hadoop则是全部在进行运算。所以相对于一些图的问题，还是图计算比较快。图计算的几个框架GIRAPH(开源)、GraphLab(开源，速度快)、GoolgePregel（未开源）图计算的应用...
好程序员大数据培训分享实用的大数据之数组【代码】
好程序员大数据培训分享实用的大数据之数组1.5.1 数组的定义与元素访问 数组是一个容器, 是一个用来存储指定数据类型的容器注意事项:数组是一个定长的容器, 一旦实例化完成, 长度不能修改名词解释:数组长度: 指的就是这个容器的容量, 表示这个数组中能存储多少个数据元素: 指的就是数组中存储的数据下标: 某一个元素在数组中的一个位置索引遍历数组: 依次获取到数组中的每一个元素数组的元素访问通过下标来访问的, 数组中元素的下...
[随笔]一年热点记录，大数据
春节：谁穿了什么，谁唱了什么，什么火？高考：作文题目是什么，哪里又作弊了。中秋、端午：中国节日和外国节日，高速是否免费，食品安全。人生的轮回也许就是这样。大数据能分析的出来这些么？商机在哪里，做IT的你，能看得出来吗？能有对应的产品吗？ 请根据以上描述，写出五个项目的开题报告及项目建议书。原文：http://www.cnblogs.com/viphhs/p/4562426.html
学无止境，如何学好大数据 & Python？
1.《2016大数据面面观》徐培成，多年开发和教学经验，Hadoop专家讲师，Java高级讲师。现为十八掌科技公司创始人，专攻大数据技术与发展方向。简介：介绍大数据在2016年发展现状、趋势以及各类企业在大数据方面的布局和战略调整。中小型企业在大数据方面的渐行渐近的行业趋势，BAT公司在引领全国大数据市场方向的同时，直接利用数据就可以进行盈利。数据就是企业财富之源。时间：4月7日 晚8点30-10点 2.《从面授班学员表现讲述零...
大数据源码、框架、笔记学习高阶教程，2天学会Lambda表达
Lambda表达式（也称闭包），是Java8发布的特性中最受期待和欢迎的新特性之一。它可以将大量替代匿名内部类的使用，在简化代码的同时，更突出了原来匿名内部类中最重要的那部分包含真正逻辑的代码。 对于学习大数据的同学来说，当习惯使用类似Scala之类的函数式编程语言以后，你会发现Lambda的可怕之处——用极少的代码完成了之前一个类做的事情！有部分同学苦恼Lambda难学，其实只是你没找对方法。接下来小编就给大家分享一个很棒的...
SqlSever大数据分页【转】
2014-09-26 08:53:42 【文章出处：http://www.cnblogs.com/wlandwl/archive/2014/09/25/bigpage.html】 在sql sever中大数据的分页一直是难以处理的一块，利用id自增列分页也存在不足之处。从一个相对全面的分页看，sql sever2005中新增的row_number()函数解决了这个问题。还是从一个实际项目开始介绍吧。中国铁建股份公司的项目表中数据很大，开发之初用的是GridView控件自带的分页，在运行一年以后，点击下一页终于是难以等...
MySQL大数据量分页查询方法及其优化
---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千级)---原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余抛弃. ---方法2: 建立主键或唯一索引, 利用索引(假设每页10条)---语句样式: MySQL中,可用如下方法: SELECT * ...
大数据展示平台介绍,及好用工具推荐【图】
大数据的分析利用已经成为大数据领域的一个迫切问题。如何从海量数据中获取有用的信息？如何将数据信息以直观易懂的形式显示?这是数据显示平台的重要作用。本文就来介绍大数据展示平台，并推荐6款好用的数据展示平台工具。一、数据展示平台介绍数据展示平台可以提取、分析和显示数据，并以多种丰富形式、更加直观的方式，展示数据探索结果。还设计了方便、灵活的交互方式，使非专业用户更方便、快捷地查看和分析多维模型数据。目前...
大数据性能调优之HBase的RowKey设计
Hbase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和stopRow参数进行范围匹配全表扫描，即直接扫描整张表中所有行记录（较新的hbase还可以通过column和values 进行索引，但是不走...
大数据应用技术课程实践--选题与实践方案【图】
一、选题与意义1.Hadoop平台应用2.Kaggle分析数据项目简要说明理由与意义。二、实践方案三、实践任务分解根据所选的题目，明确实验步骤，分解任务到每天。四、实践计划按任务分解撰写计划表，每天按计划表开展工作。第天根据实际情况更新计划表，有必要时调整。 1、选题：淘宝双11数据分析与预测我选Hadoop平台应用-淘宝双11数据分析与预测因为自己机器学习的基础不是很牢固，所以不敢贸然选第二题，再加上从没接触过kaggle，时间...