首页 > 北大青鸟IT培训 > 广州 > 广州北大青鸟告诉你大数据三个重要的技术问题
广州北大青鸟告诉你大数据三个重要的技术问题
文章来源:珠海北大青鸟IT学院 点击数: 次 更新时间:2014-02-10 17:32
       当今,大数据的到来,已经成为现实生活中无法逃避的挑战。与此同时,大数据也向参与的各方提出了巨大的挑战,首先是三个重要的技术问题:
1、如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模
      这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看,依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而导致大数据统一理论的完备。从短期而言,学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则,以支持大数据的交叉工业应用。管理科学,尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。
      大数据的复杂形式导致许多对“粗糙知识”的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的“二次挖掘”过程中。这里人机交互将起到至关重要的作用。
2、数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响
      由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下,管理决策面临着两个“异构性”问题:“数据异构性”和“决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。
       大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外,决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。无论大数据带来了哪种数据异构性,大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。通过寻找“二次挖掘”产生的 “智能知识”来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的,相当于研究如何将决策者的主观知识参与到决策的过程中。
       大数据是一种具有隐藏法则的人造自然,寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,尽管这样的探索十分困难,但是如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法,已知的数据挖掘方法将成为大数据挖掘的工具。
3、如何利用信息技术等手段处理非结构化和半结构化数据
      大数据中,结构化数据只占 15% 左右,其余的 85% 都是非结构化的数据,它们大量存在于社交网络、互联网和电子商务等领域。另一方面,也许有 90% 的数据来自开源数据,其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。
      大数据刺激了大量研究问题。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰,这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。给定一种半结构化或非结构化数据,比如图像,如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?值得注意的是,大数据每一种表示形式都仅呈现数据本身的侧面表现,并非全貌。
     如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程,那么将粗糙知识与被量化后主观知识,包括具体的经验、常识、本能、情境知识和用户偏好,相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质”的飞跃。
     由于大数据所具有的半结构化和非结构化特点,基于大数据的数据挖掘所产生的结构化的“粗糙知识”(潜在模式)也伴有一些新的特征。这些结构化的粗糙知识可以被主观知识加工处理并转化,生成半结构化和非结构化的智能知识。寻求“智能知识”反映了大数据研究的核心价值。
     以上是我对大数据的三个重要技术问题进行研究的一些心得,也仅仅是一个研究大数据挑战的起点。除此之外,还有一些数据科学的问题,包括在获得数据和从数据中产生规则方面可能存在的公理体系,基于数据库的知识发现规则与基于开放数据源的知识发现规则以及大数据挖掘的整体和(或)局部解的存在性问题等等。
  • 北大青鸟
  • 北大青鸟
  • 北大青鸟
  • 北大青鸟
免费咨询热线
在线咨询QQ咨询
  • 校长:罗校长
    校长:罗校长       每个人都有适合自己的一套学习方式,对于学生来说,不但要学习技能,...[详细] 在线咨询 预约课程
  • 校长助理——简老师
    校长助理——简老师 人们常说,爱是教育的底色,但作为教师,仅有爱是不够的,真正的爱里,还一定包含着智慧,...[详细] 在线咨询 预约课程
  • 教务部主任——何老师
    教务部主任——何老师 教育心得:教书育人,身正为范。高尔基说过:“谁不爱孩子,孩子就不爱他,只有爱孩子的人...[详细] 在线咨询 预约课程
  • 教质部主任——伍老师
    教质部主任——伍老师 严是爱,松是害 教育是爱的事业,这种爱高于母爱、大于友爱、胜于情爱,是严与爱的结合,...[详细] 在线咨询 预约课程
  • 招生办主任——江老师
    招生办主任——江老师       教育是爱的事业,这种爱高于母爱、大于友爱、胜于情爱,是严与爱的结...[详细] 在线咨询 预约课程
  • 就业部主任——黄老师
    就业部主任——黄老师 我是一名老师,作为一名老师,我的责任是教导好学生,能够让学生可以拥有一个独立健全的人...[详细] 在线咨询 预约课程
  • 咨询部主任——柳老师
    咨询部主任——柳老师 教师必须有高尚的品德。教师职业的最大特点是培养、塑造新一代,自己的道德品质将直接影响...[详细] 在线咨询 预约课程
  • 资深教员——李老师
    资深教员——李老师     高尔基说过:“谁不爱孩子,孩子就不爱他,只有爱孩子的人,才能教育孩子”...[详细] 在线咨询 预约课程
  • 金牌讲师——曾老师
    金牌讲师——曾老师      对于能够胜任教师这个岗位,对此我很荣幸。而作为一名教师,更应...[详细] 在线咨询 预约课程
  • 高级教师——梁老师
    高级教师——梁老师 学习 Java 编程语言要经常阅读一些优秀的源码,对自我提高、开阔视野非常重要。但 一定要多...[详细] 在线咨询 预约课程
  • 优秀班主任——王老师
    优秀班主任——王老师     教师要与学生平等对待,建立一个平等的师生关系。以身作则,树立威信要求学...[详细] 在线咨询 预约课程
  • 高级教师——邓老师
    高级教师——邓老师 由于职业学校的学生基础不一,教学方法和教学手段都有所不同,需要不断地调整角色和情绪。...[详细] 在线咨询 预约课程
  • 优秀班主任——李老师
    优秀班主任——李老师 我觉得班主任在学生管理过程中要切实作到有效两个字应该至少要做好以下几个方面: ...[详细] 在线咨询 预约课程
  • 优秀班主任——李梦潼老...
    优秀班主任——李梦潼老...       教育是一种奉献,是爱的事业。这种爱是一种理智的爱、严谨的爱、科学...[详细] 在线咨询 预约课程
  • 优秀班主任——江丽老师
    优秀班主任——江丽老师     有效,是教育工作者永无止境的追求。对于教育者,需要在与学生接触中了解学...[详细] 在线咨询 预约课程
  • 高级职业规划师——刘老...
    高级职业规划师——刘老...       曾在一家初中学校实习任教。在这之前,觉得教师的工作不过是教书育人...[详细] 在线咨询 预约课程
  • 财务——余老师
    财务——余老师 教师最大的享受、最大的乐趣就在于觉得自己是学生所需要的,是学生所感到亲切的,是能够给...[详细] 在线咨询 预约课程
  • 教师团队
    教师团队                   师资力量的强弱...[详细] 在线咨询 预约课程
  • 高级职业规划师——张老...
    高级职业规划师——张老... 对于学生而言,老师不仅仅是给他们传授知识的人,更多的时候是在他们迷茫和无助的时候给予...[详细] 在线咨询 预约课程
  • 在线咨询师——周老师
    在线咨询师——周老师 在当今世界,教育应该以人为本,充分关心学生的需求。珠海北大青鸟正是看到了IT行业人才...[详细] 在线咨询 预约课程
  • 在线咨询师——林老师
    在线咨询师——林老师 作为一名教师首先需要热爱自己的教育对象——学生。教师应该是一位雕塑大师,能将一块坯...[详细] 在线咨询 预约课程
  • 校长:罗兴
    校长:罗兴 校长:罗兴 简介:天津大学在职研究生、美国西东大学工商管理硕士、少校。 现任:...[详细] 在线咨询 预约课程
  • 校长助理:简玲
    校长助理:简玲 姓 名:简 玲 职 称:校长助理     毕业于吉首大学、国际经济学、充满...[详细] 在线咨询 预约课程
  • 招生办:江文慧
    招生办:江文慧 姓名:江文慧 职务:招生办主任 专业特长:毕业于计算机应用技术专业。获得美国微...[详细] 在线咨询 预约课程
  • 就业部:黄成安
    就业部:黄成安 姓名:黄成安 职务: 就业办主任 专业特长:毕业于对外经济贸易大学,本科,善...[详细] 在线咨询 预约课程
  • 咨询部:柳琴
    咨询部:柳琴 姓名:柳琴 职务:咨询部主任 专业特长:毕业于师范院校,具有亲和力,善于沟通,...[详细] 在线咨询 预约课程
  • 教务处:何秋茹
    教务处:何秋茹 姓名:何秋茹 职务:教务处主任 专业特长:毕业于华南师范大学,教育管理专业,本...[详细] 在线咨询 预约课程
  • 教质部:李蕊
    教质部:李蕊 姓名:李蕊 职务:教质部主任兼班主任 简介:毕业于黑龙江省牡丹江市牡丹江师范学...[详细] 在线咨询 预约课程
  • 办公室:伍书札
    办公室:伍书札 姓名:伍书札 职务:办公室主任兼班主任 专业特长:工商管理专业本科  性格开朗热...[详细] 在线咨询 预约课程
  • 学术部:李田香
    学术部:李田香 姓名:李田香 职务:学术部教师 教育背景:广州美术学院  平面设计专业  ...[详细] 在线咨询 预约课程
  • 学术部:曾松海
    学术部:曾松海 姓名:曾松海 职务:学术部教师 个人简介:本科学历,计算机专业,通过北京总部培训...[详细] 在线咨询 预约课程
  • 学术部:邓世杰
    学术部:邓世杰 姓名:邓世杰 职务:学术部教师 教育背景:电子科技大学 软件工程专业 工作背景:...[详细] 在线咨询 预约课程
  • 学术部:梁诚朋
    学术部:梁诚朋 姓名:梁诚朋 职务:学术部教师 教育背景:四川电子科技大学  软件工程专业 ...[详细] 在线咨询 预约课程
  • 教质部:李业
    教质部:李业 姓名:李业 职务:班主任 简介:毕业于广东省珠海市北京理工大学珠海学院,飞行器...[详细] 在线咨询 预约课程
  • 在线咨询师:林敏珊
    在线咨询师:林敏珊 姓名:林敏珊 职务:在线咨询师 专业特长:毕业于广州番禺职业技术学院,人力资源...[详细] 在线咨询 预约课程
  • 高级职业规划师:张燕玲
    高级职业规划师:张燕玲 姓名:张燕玲 职务:高级职业规划师 专业特长:毕业于对外经济贸易大学,对外经济贸...[详细] 在线咨询 预约课程
  • 教质部:李梦潼
    教质部:李梦潼 姓名:李梦潼 职务:班主任        专业特长:毕业于新闻专业,...[详细] 在线咨询 预约课程
  • 教质部:王珂
    教质部:王珂 姓名:王 珂 职务:班主任     专业特长:毕业于中原工信息商务学院,动画专...[详细] 在线咨询 预约课程
  • 教质部:江丽
    教质部:江丽 姓名:江丽 职务:班主任     毕业于北京理工大学珠海学院,自动化本科学历...[详细] 在线咨询 预约课程
  • 市场部专员:夏天
    市场部专员:夏天 姓 名:夏 天 职 称:渠道部经理 座右铭:世事洞明皆学问,人情练达即文章。[详细] 在线咨询 预约课程
  • 学术部:谢伟伦
    学术部:谢伟伦 姓 名:谢伟伦 职 称:教员 座右铭:不自满者受益,不自是者博闻。[详细] 在线咨询 预约课程
  • 学术部:覃壮利
    学术部:覃壮利 姓 名:覃壮利 职 称:学术部教师 座右铭:常说口里顺,常做手不笨,最淡的墨水也胜...[详细] 在线咨询 预约课程
  • 学术部:郭霞
    学术部:郭霞 姓名:郭霞 毕业院校:广东工业大学    计算机科学与技术专业 &n...[详细] 在线咨询 预约课程
  • 咨询助理:张荣
    咨询助理:张荣 姓 名:张 荣 职 称:咨询助理 座右铭:再长的路,一步步也能走完,再短的路,...[详细] 在线咨询 预约课程
  • 财务:余岁
    财务:余岁 姓 名:余岁 职 称:财 务 专业特长:毕业于会计专业,熟知国家财务法律法规,...[详细] 在线咨询 预约课程
  • 班主任:李骏浩
    班主任:李骏浩 姓 名:李骏浩 职 称:班主任 座右铭:逆水行舟,前进太慢,也是后退。[详细] 在线咨询 预约课程
  • 教务:董尚佳
    教务:董尚佳 姓 名:董尚佳 职 称:教 务 座右铭:如果你真的想做一件事,你一定会找到一个...[详细] 在线咨询 预约课程
在线咨询
报名表单
  • 姓名:*
  • 电话:*
  • 邮箱:
  • QQ/MSN:
免费预约热线400-882-8383