合罗山农业网

首页 > 正文

如何克服区块链分析中的过拟合问题?| 火星技术帖

www.ighdhair.com2020-03-08

免责声明:本文旨在传达更多的市场信息,不构成任何投资建议。本文仅代表作者的观点,并不代表火星财经的官方立场。

边肖:记住要密切关注oh

Source:Quantified Kimahe

Over-fitting是指在统计学中,某个特定的数据集过于接近或精确地匹配,导致无法很好地拟合其他数据或预测未来的观测结果。过度拟合被认为是现代深度学习应用的最大挑战之一。过度拟合模型是指与有限的数据相比,参数过多或结构过于复杂的统计模型。当拟合发生时,模型的偏差较小,但方差较大。简单地说,就是说,当从数据集推断出错误的假设时,模型会产生过度拟合。

有些人认为使用机器学习来分析区块链数据集是一个非常有吸引力的方法,但是在实践中,这个想法充满了挑战。其中,在将机器学习方法应用于区块链数据集时,最大的问题是缺少标记数据集。对于区块链数据集来说,过度拟合是缺少标记数据的直接结果。

区块链是一个大的半匿名结构,在这个结构中,所有的东西都由一组相同的公共结构来表示,比如事务、地址和块。从这个角度来看,区块链记录可以用最少的信息量来证明。是转账还是付款?是个人投资者的钱包地址还是交易所的冷钱包地址?这些限定词对机器学习模型至关重要。

假设现在您需要创建一个模型来检测一组区块链上的交换地址。该过程必须使用现有的区块链地址数据集。如果使用以太网扫描或其他一些小数据集,模型很可能被过度拟合和错误分类。

过度拟合成为一个大问题的原因之一是很难在不同的深度学习技术之间进行归纳。在机器学习模型中,过度拟合是一个持续的挑战,但当使用区块链数据集时,这几乎是不可避免的。尽管过度拟合的最明显的答案是使用更大的训练数据集,但这不是一个长期的解决方案,因此需要一系列的基本方法来解决这个问题。

三种对抗策略

首先,反对过度匹配的第一条规则是认识到这一点。虽然没有防止过度拟合的特定药物,但实践表明,一些简单、几乎常识性的规则有助于在深度学习应用中避免这种现象。

数据/假设比率

拟合通常发生在模型产生太多假设,但没有相应的数据来验证它们的时候。因此,深度学习应用程序应该尝试在测试数据集和应该评估的假设之间保持适当的比例。

许多深度学习算法依赖于不断产生新的或更复杂的假设。在这种情况下,一些统计技术可以帮助正确估计假设的数量,以优化找到接近正确假设的机会。虽然这种方法不能提供准确的答案,但它有助于保持假设数量和数据集之间的统计平衡。

哈佛大学的瓦兰特辉煌教授在他的《《Probably Approximately Correct》》一书中解释说,在分析区块链时,数据/假设比率非常明显。假设我们正在构建一个基于一年期区块链交易的预测算法。因为我们不确定要测试哪个机器学习模型,所以我们使用神经架构搜索(NAS)方法来针对区块链数据集测试数百个模型。假设数据集只包含一年的事务,则NAS方法可能会生成一个完全适应训练数据集的模型。

支持简单的假设

简单是最好的!不是吗?因此,第二种方法是不断产生更简单的假设。在深度学习算法的情况下,一个更简单的假设意味着我们需要将其简化为量化因素。深度学习假设中属性的数量与其复杂性成正比。

简单的假设比其他具有大量计算和认知属性的假设更容易评估。因此,与复杂模型相比,简单模型通常不容易过度拟合。

偏差/差异平衡

偏差和方差是深度学习模型中的两个关键估计量。从概念上讲,偏差是模型的平均预测值和我们试图预测的正确值之间的差异。高偏差模型对训练数据关注较少,从而简化了模型,但总是导致训练和测试数据的高错误率。换句话说,方差是指给定数据点的模型预测的可变性,或告诉我们数据分布的值。具有高方差的模型非常关注训练数据,并且不总结以前从未见过的数据。因此,该模型在训练数据上表现良好,但在测试数据上有较高的错误率。

偏差和方差与过度拟合有什么关系?简而言之,可以通过减少模型的偏差而不增加其方差来总结概括技术。一个更好的方法是对其建模,定期将生成的假设与测试数据集进行比较,并评估结果。如果相同的错误继续输出,则存在较大的偏差问题,需要调整或替换算法。如果没有明确的错误模式,问题在于差异,需要更多的数据。因此

-任何低复杂度模型-由于高偏差和低方差而容易不适合。

-任何高度复杂的模型(深度神经网络)-由于低偏差和高方差,过拟合很容易发生。

在区块链分析的背景下,偏差方差摩擦无处不在。

使用机器学习来分析区块链数据是一个新领域。大多数模型都会遇到传统的挑战,过度拟合就是其中之一。虽然还没有找到具体的灵丹妙药来解决这个问题,但这三个简单的原则已经被证明是有效的。

本文摘自耶稣罗德里格斯的《区块链分析中的过度拟合挑战》。

Kitting Horse River:Ratio Fintech partner,曾是一家证券公司的自营交易员,在海外对冲基金和大型国内投资机构担任基金经理超过10年,资深交易建模专家,是货币圈的大玩家。

请尊重创意!请指出重印的来源。

热门浏览
热门排行榜
热门标签
日期归档