AmosTian

[TOC]

用于解决分类问题：将连续取值输入映射为离散取值的输出

解决分类问题的依据是数据的属性

• 利用后验概率选择最佳分类，后验概率通过贝叶斯定理求解
• 朴素贝叶斯假定所有属性相互独立，基于这一假设将类条件概率转化为属性条件概率的乘积
• 朴素贝叶斯方法可以使期望风险最小化
• 影响朴素贝叶斯分类的是所有属性之间的依赖关系在不同类别上的分布

离散数学：研究离散量结构及相互关系的学科

• 数理逻辑
• 集合论
• 代数系统
• 图论

逻辑：研究推理的科学

数学方法：引进一套符号系统的方法

数理逻辑是用数学方法研究形式逻辑的科学，即使用符号化系统研究推理的方法。又称符号逻辑。

[TOC]

机器学习是计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的学科

根据输入输出类型的不同，机器学习分为：分类问题，回归问题，标注问题三类

过拟合是机器学习中不可避免的，可通过选择合适的模型降低影响

监督学习是机器学习的主流任务，包括生成方法和判别方法两类

参考：

极客时间——人工智能基础课

[白板机器学习]

统计学习方法——李航

炼数成金-机器学习：黄志洪

范数理论

[TOC]

• 将认知过程定义为对符号的逻辑运算，则AI的基础就是形式逻辑
• 谓词逻辑是知识表示的主要方法
• 基于谓词逻辑系统可以实现具有自动推理能力的人工智能
• 不完备性定理向 认知的本质是计算 这一基本理念挑战

不确定性才是客观世界的本质属性。不确定性的世界只能使用概率模型来描述，正是对概率模型的刻画促成了信息论的的诞生

信息论在世界的不确定性和消息的可测量性之间搭建桥梁

• 条件熵和信息增益是分类问题中的重要参数
• KL散度用于描述两个不同概率分布之间的差异
• 最大熵原理是分类问题中的常用准则