leyu·乐鱼(中国)体育官方网站

　　【专利摘要】本发觉公然了一种及时数据惩罚措施及体系，包罗：及时采纳数据并将数据放入队伍中；轮回读取队伍中的数据并将读取的数据放入缓存中；判别从队伍中读取数据的光阴是否凌驾预设的光阴阈值，假若是，则将缓存中的数据举办齐集，并将齐集后的数据良久化。本发觉的及时数据惩罚措施及体系，预设光阴阈值，正在惩罚队伍数据时，每隔固定的光阴间隔跳出惩罚队伍的轮回，也许确保按期的良久化，也也许确保将不异维度的数据齐集成尽量少的条数，能够平均良久化压力、良久化的周期和齐集效益这三者之间的冲突相闭，避免了因为数据量过大或者数据收支队伍速率不相仿形成的各类不良后果。

　　[0002]正在及时数据惩罚体系中，一方面多量带有维度的数据会依照固定的光阴窗口进入队伍，另一方面队伍正在惩罚数据时，希冀能火速的将统一个光阴窗口内具有不异维度的数据齐集成尽量少的条数，正在维度额外众的境况下，齐集后的条件数目也是浩大的，思索到良久化齐集后的数据对效劳器的压力，也须要尽量节减每次良久化的数据量，也便是说正在一个光阴窗口内的数据尚未齐全放入缓存时，须要先将仍然放入缓存中的数据齐集并举办良久化。

　　[0003]现有的及时数据惩罚措施为:从队伍中取数据后，将取出的数据放入缓存中守候齐集并良久化，假若队伍为空，则将缓存中的数据齐集并举办良久化，假若队伍不为空，则只将队伍中的数据取出后放入缓存中。当从队伍中取数据的速率凌驾数据进入队伍的速率时，则现有身手可以会导致每取出一条数据后便随即举办一次齐集并良久化，良久化会额外屡次。而当队伍中取数据的速率小于数据进入队伍的速率时，可以会导致队伍中数据多量积存，队伍中数据假若继续取不完的话，则会导致缓存中的继续不行举办齐集并良久化，数据惩罚结果便不再是及时的，假若队伍中的数据正在积存很长光阴后终归为空了，那么将缓存中的数据齐集后的数据量平常也会更众，一次性存储多量数据对效劳器的压力也会霎时变大。以上这两种境况都不是希冀的，所希冀的是统一个光阴窗口内的不异维度下的数据齐集后的条数尽量少，况且也许尽疾的良久化，而且每次存储时的数据尽量少以减轻对效劳器的压力。

　　[0005]一种及时数据惩罚措施，包罗:及时采纳数据并将所述数据放入队伍中；轮回读取所述队伍中的数据并将读取的数据放入缓存中；判别从所述队伍中读取数据的光阴是否凌驾预设的光阴阈值，假若是，则将所述缓存中的数据举办齐集，并将齐集后的数据良久化。

　　[0006]凭据本发觉的一个施行例，进一步的，所述判别从所述队伍中读取数据的光阴是否凌驾预设的光阴阈值、假若是、则将所述缓存中的数据举办齐集、并将齐集后的数据良久化包罗:将初阶轮回读取所述队伍中数据确当前光阴修立为第有时间Tl并记实；正在每次从所述队伍中取出一条数据并放入所述缓存时，判别眼前光阴和Tl之间的光阴差是否凌驾所述光阴阈值，假若凌驾所述光阴阈值，则跳出读取所述队伍中数据的轮回，将缓存中的数据举办齐集，并将齐集后的数据良久化；假若未凌驾所述光阴阈值，则不停轮回举办从所述队伍中读取下一条数据的操作。

　　[0007]凭据本发觉的一个施行例，进一步的，所述措施还包罗:凭据设定的齐集结果的最小更新周期T2和答允良久化的最小光阴间隔T3修立所述光阴阈值；个中，所述光阴阈值小于等于T2，而且大于等于T3。

　　[0008]凭据本发觉的一个施行例，进一步的，所述凭据设定的齐集结果的最小更新周期T2和答允良久化的最小光阴间隔T3修立所述光阴阈值包罗:将所述光阴阈值的差异修立为第有时间阈值和第二光阴阈值，并举办所述数据的良久化惩罚；个中，第有时间阈值的值为T2，第二光阴阈值的值为第有时间阈值的一半；差异获取所述光阴阈值为第有时间阈值的第一数据良久化结果和所述光阴阈值为第二光阴阈值时的第二数据良久化结果，并判别所述第一数据良久化结果和所述第二数据良久化结果是否都适应预设的良久化检测战略；所述数据良久化结果包罗:齐集水准和存储的行数；假若是，则将第二光阴阈值的值赋给第有时间阈值，并将第二光阴阈值的值修立为新的第有时间阈值的一半，举办数据的良久化惩罚并检测数据良久化结果，依此轮回实行修立第有时间阈值和第二光阴阈值并举办所述数据的良久化惩罚，直到判别所述第一数据良久化结果和所述第二数据良久化结果不都适应预设的良久化检测战略时，则跳出实行修立第有时间阈值和第二光阴阈值并举办所述数据的良久化惩罚的轮回，确定所述光阴阈值为此时的第有时间阈值；假若否，则确定所述光阴阈值为T2。

　　[0011]一种及时数据惩罚体系，包罗:数据采纳单位，用于及时采纳数据并将所述数据放入队伍中；数据缓存单位，用于轮回读取所述队伍中的数据并将读取的数据放入缓存中；良久化单位，用于判别从所述队伍中读取数据的光阴是否凌驾预设的光阴阈值，假若是，则将所述缓存中的数据举办齐集，并将齐集后的数据良久化。

　　[0012]凭据本发觉的一个施行例，进一步的，所述数据缓存单位包罗数据读取记实子模块，用于将初阶轮回读取所述队伍中数据确当前光阴修立为第有时间Tl并记实；所述良久化单位包罗数据齐集子模块，用于正在每次所述数据缓存单位从所述队伍中取出一条数据并放入所述缓存时，判别眼前光阴和Tl之间的光阴差是否凌驾所述光阴阈值，假若凌驾所述光阴阈值，则跳出读取所述队伍中数据的轮回，将缓存中的数据举办齐集，并将齐集后的数据良久化，假若未凌驾所述光阴阈值，则所述数据缓存单位不停轮回举办从所述队伍中读取下一条数据的操作。

　　[0013]凭据本发觉的一个施行例，进一步的，光阴阈值设定单位，用于凭据设定的齐集结果的最小更新周期T2和答允的良久化的最小光阴间隔T3修立所述光阴阈值；个中，所述光阴阈值小于等于T2，而且大于等于T3。

　　[0014]凭据本发觉的一个施行例，进一步的，所述光阴阈值设定单位包罗:试验阈值设定模块，用于将所述光阴阈值的差异修立为第有时间阈值和第二光阴阈值，并举办所述数据的良久化惩罚；个中，第有时间阈值的值为T2，第二光阴阈值的值为第有时间阈值的一半；良久化试验模块，用于差异获取所述光阴阈值为第有时间阈值的第一数据良久化结果和所述光阴阈值为第二光阴阈值时的第二数据良久化结果，并判别所述第一数据良久化结果和所述第二数据良久化结果是否都适应预设的良久化检测战略；假若是，则所述试验阈值设定单位将第二光阴阈值的值赋给第有时间阈值，并将第二光阴阈值的值修立为新的第有时间阈值的一半，举办数据的良久化惩罚并检测数据良久化结果，依此轮回实行修立第有时间阈值和第二光阴阈值并举办所述数据的良久化惩罚，直到判别所述第一数据良久化结果和所述第二数据良久化结果不都适应预设的良久化检测战略时，则跳出实行修立第有时间阈值和第二光阴阈值并举办所述数据的良久化惩罚的轮回；确定所述光阴阈值为此时的第有时间阈值；假若否，则确定所述光阴阈值为T2。

　　[0015]凭据本发觉的一个施行例，进一步的，所述良久化单位包罗良久惩罚子模块，用于将缓存中的数据依照区别的维度举办齐集，将具有不异维度的数据齐集成一条数据，并将齐集完工后的数据存储正在数据库或文献中。

　　[0016]本发觉的及时数据惩罚措施及体系，预设光阴阈值，正在惩罚队伍数据时，每隔固定的光阴间隔跳出惩罚队伍的轮回，也许确保按期的良久化，也也许确保将不异维度的数据齐集成尽量少的条数，能够平均良久化压力、良久化的周期和齐集效益这三者之间的冲突相闭，避免了因为数据量过大或者数据收支队伍速率不相仿形成的各类不良后果。

　　[0017]为了更懂得地证明本发觉施行例或现有身手中的身手计划，下面将对施行例或现有身手描绘中所须要利用的附图作一简陋地先容，显而易观点，下面描绘中的附图仅仅是本发觉的少许施行例，看待本界限平常身手职员来讲，正在不付出成立性劳动性的条件下，还能够凭据这些附图获取其他的附图。

　　[0020]下面参照附图对本发觉举办更周详的描绘，个中证明本发觉的示例性施行例。下面将连接本发觉施行例中的附图，对本发觉施行例中的身手计划举办懂得、完美地描绘，彰着，所描绘的施行例仅仅是本发觉一个人施行例，而不是总计的施行例。基于本发觉中的施行例，本界限平常身手职员正在没有做出成立性劳动条件下所获取的一共其他施行例，都属于本发觉扞卫的界限。

　　[0026]本发觉的及时数据惩罚措施，通过预设光阴阈值的格式，正在惩罚队伍数据时，每隔固定的光阴间隔跳出惩罚队伍的轮回，云云确保将固定光阴间隔内的缓存中的数据举办一次齐集并举办良久化，正在实行齐集和存储时，不再思索队伍中数据是否惩罚完，只须修立一个合理的光阴阈值即可，既确保了按期的良久化，也也许确保将不异维度的数据齐集成尽量少的条数。

　　[0027]正在一个施行例中，能够启动单线程或众线程完工数据良久化的操作，为了确保惩罚数据的先后递次是采纳到数据的递次相仿，于是将采纳到的数据放入了队伍中。将单线程或众线程初阶轮回读取队伍中数据确当前光阴修立为第有时间Tl并记实，然后初阶读取队伍中的数据并将读取到的数据放入缓存集中中乐鱼。

　　[0028]正在每次从队伍中取出一条数据并放入缓存时，判别眼前光阴和Tl之间的光阴差是否凌驾光阴阈值，假若凌驾光阴阈值，则跳出眼前从队伍中读取数据的轮回，将缓存中的数据举办齐集，并将齐集后的数据良久化；假若未凌驾光阴阈值，则不停轮回举办从队伍中读取下一条数据的操作。

　　[0029]正在一个施行例中，还包罗凭据设定的齐集结果的最小更新周期T2和答允良久化的最小光阴间隔T3修立光阴阈值。已知须要齐集结果的最小更新周期是T2(即最小须要每个T城市稀有据更新)和所答允的良久化的最小光阴间隔Τ3，那么齐集并良久化的光阴周期一定要小于等于Τ2，而且大于等于Τ3。

　　[0030]正在一个施行例中，能够寡少启动一个过程或职分，用于主动确定须要修立的光阴阈值。启动过程或职分，将光阴阈值的差异修立为第有时间阈值和第二光阴阈值，并举办数据的良久化惩罚。第有时间阈值的值为Τ2，第二光阴阈值的值为第有时间阈值的一半。

　　[0032]假若是，则将第二光阴阈值的值赋给第有时间阈值，并将第二光阴阈值的值修立为新的第有时间阈值的一半，举办数据的良久化惩罚并检测数据良久化结果，依此轮回实行修立第有时间阈值和第二光阴阈值并举办数据的良久化惩罚，直到判别2个数据良久化结果不都适应预设的良久化检测战略时，则跳出轮回，确定光阴阈值为此时的第有时间阈值；假若否，则确定光阴阈值为Τ2。

　　[0033]正在一个施行例中，分两次差异测试将阈值设为Τ2和Τ2的一半，测试此两种境况下最终数据良久化的结果，比较两者存储的行数以及齐集水准(是否将不异维度的数据齐集成一条)差异，假若良久化的压力额外大，那么更尊敬的是阈值为Τ2的二分之有时良久化的行数有没有成倍的节减，假若是更眷注的是齐集效益的话，那么须要阐发阈值为Τ2的二分之有时齐集水准是否依旧理思。

　　[0034]阈值越大，齐集的越理思，存储的压力越大；阈值越小，齐集效益越差，存储的压力也越小。假若阈值为Τ2和二分之一 Τ2时齐集效益和良久化的行数都相差不大的话，那么将阈值设为四分之一 Τ2，和二分之一 Τ2的良久化结果举办斗劲，以此类推....，确定修立的光阴阈值的准绳，即良久化检测战略能够是:尽量节减一次良久化对效劳器的压力，同时确保齐集效益要好，同时由于是及时数据惩罚，当然也要出结果的速率越疾越好。

　　[0036]正在一个施行例中，将缓存中的数据依照区别的维度举办齐集，将具有不异维度的数据齐集成一条数据，并将齐集完工后的数据存储正在数据库或文献中。能够凭据全体的操纵场景修立众个维度，酿成一个维度体例，具备访谒和过滤究竟的才气，包罗一个完美的维度体例编码、枢纽词以及闭联的外现。比如，光阴维度包罗年、季度、月、日等主意，地域维度包罗邦度、省、市等主意等等。将缓存中的数据依照区别的维度举办齐集，将齐集完工后的数据良久化，存储格式能够采用现有的身手。

　　[0037]本发觉的及时数据惩罚措施，也许确保将固定光阴间隔内的缓存中的数据举办一次齐集并举办良久化，正在实行齐集和存储时，不再思索队伍中数据是否惩罚完，并能通过主动举办数据良久化的测试修立一个合理的光阴阈值，既确保了按期的良久化，也也许确保将不异维度的数据齐集成尽量少的条数。

　　[0038]如图2所示，本发觉供给一种及时数据惩罚体系，包罗:数据采纳单位21、数据缓存单位22和良久化单位23。数据采纳单位21及时采纳数据并将数据放入队伍中。数据缓存单位22轮回读取队伍中的数据并将读取的数据放入缓存中。良久化单位23判别从队伍中读取数据的光阴是否凌驾预设的光阴阈值，假若是，则将缓存中的数据举办齐集，并将齐集后的数据良久化。

　　[0039]正在一个施行例中，数据缓存单位22的数据读取记实子模块将初阶轮回读取队伍中数据确当前光阴修立为第有时间Tl并记实。良久化单位23的数据齐集子模块正在每次数据缓存单位从队伍中取出一条数据并放入缓存时，判别眼前光阴和Tl之间的光阴差是否凌驾光阴阈值，假若凌驾光阴阈值，则跳出眼前从队伍中读取数据的轮回，将缓存中的数据举办齐集，并将齐集后的数据良久化，假若未凌驾光阴阈值，则数据缓存单位22不停轮回举办从队伍中读取下一条数据的操作。

　　[0041 ] 正在一个施行例中，光阴阈值设定单位24包罗:试验阈值设定模块241和良久化试验模块242。试验阈值设定模块241将光阴阈值的差异修立为第有时间阈值和第二光阴阈值，并举办数据的良久化惩罚，第有时间阈值的值为T2，第二光阴阈值的值为第有时间阈值的一半。

　　[0042]良久化试验模块242差异获取光阴阈值为第有时间阈值和第二光阴阈值时的数据良久化结果，并判别2个数据良久化结果是否都适应预设的良久化检测战略。假若是，则试验阈值设定单位241将第二光阴阈值的值赋给第有时间阈值，并将第二光阴阈值的值修立为新的第有时间阈值的一半，举办数据的良久化惩罚并检测数据良久化结果，依此轮回实行修立第有时间阈值和第二光阴阈值并举办数据的良久化惩罚，直到判别2个数据良久化结果不都适应预设的良久化检测战略时，则跳出轮回；确定光阴阈值为此时的第有时间阈值；假若否，则确定光阴阈值为T2。

　　[0044]本发觉的及时数据惩罚措施及体系，预设光阴阈值，正在惩罚队伍数据时，每隔固定的光阴间隔跳出惩罚队伍的轮回，也许确保按期的良久化，也也许确保将不异维度的数据齐集成尽量少的条数，也许平均良久化压力、良久化的周期和齐集效益这三者之间的冲突相闭，避免了因为数据量过大或者数据收支队伍速率不相仿形成的各类欠好后果。

　　[0045]可以以很众格式来完毕本发觉的措施和体系。比如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来完毕本发觉的措施和体系。用于措施的次序的上述递次仅是为了举办证明，本发觉的措施的次序不限于以上全体描绘的递次，除非以其它格式额外证明。其它，正在少许施行例中，还可将本发觉施行为记实正在记实介质中的标准，这些标准包罗用于完毕凭据本发觉的措施的呆板可读指令。所以，本发觉还笼盖存储用于实行凭据本发觉的措施的标准的记实介质。

　　[0046]本发觉的描绘是为了示例和描绘起睹而给出的，而并不是无漏掉的或者将本发觉限于所公然的步地。许众删改和改观看待本界限的平常身手职员而言是彰着的。采选和描绘施行例是为了更好证明本发觉的道理和实质操纵，而且使本界限的平常身手职员也许明白本发觉从而计划适于特定用处的带有各样删改的各样施行例。

　　1.一种及时数据惩罚措施，其特质正在于，包罗: 及时采纳数据并将所述数据放入队伍中； 轮回读取所述队伍中的数据并将读取的数据放入缓存中； 判别从所述队伍中读取数据的光阴是否凌驾预设的光阴阈值，假若是，则将所述缓存中的数据举办齐集，并将齐集后的数据良久化。

　　2.如权力央浼1所述的措施，其特质正在于，所述判别从所述队伍中读取数据的光阴是否凌驾预设的光阴阈值、假若是、则将所述缓存中的数据举办齐集、并将齐集后的数据良久化包罗: 将初阶轮回读取所述队伍中数据确当前光阴修立为第有时间Tl并记实； 正在每次从所述队伍中取出一条数据并放入所述缓存时，判别眼前光阴和Tl之间的光阴差是否凌驾所述光阴阈值，假若凌驾所述光阴阈值，则跳出读取所述队伍中数据的轮回，将缓存中的数据举办齐集，并将齐集后的数据良久化；假若未凌驾所述光阴阈值，则不停轮回举办从所述队伍中读取下一条数据的操作。

　　3.如权力央浼2所述的措施，其特质正在于，所述措施还包罗: 凭据设定的齐集结果的最小更新周期T2和答允良久化的最小光阴间隔T3修立所述光阴阈值；个中，所述光阴阈值小于等于T2，而且大于等于T3。

　　4.如权力央浼3所述的措施，其特质正在于，所述凭据设定的齐集结果的最小更新周期T2和答允良久化的最小光阴间隔T3修立所述光阴阈值包罗: 将所述光阴阈值的差异修立为第有时间阈值和第二光阴阈值，并举办所述数据的良久化惩罚；个中，第有时间阈值的值为T2，第二光阴阈值的值为第有时间阈值的一半； 差异获取所述光阴阈值为第有时间阈值的第一数据良久化结果和所述光阴阈值为第二光阴阈值时的第二数据良久化结果，并判别所述第一数据良久化结果和所述第二数据良久化结果是否都适应预设的良久化检测战略；所述数据良久化结果包罗:齐集水准和存储的行数； 假若是，则将第二光阴阈值的值赋给第有时间阈值，并将第二光阴阈值的值修立为新的第有时间阈值的一半，举办数据的良久化惩罚并检测数据良久化结果，依此轮回实行修立第有时间阈值和第二光阴阈值并举办所述数据的良久化惩罚，直到判别所述第一数据良久化结果和所述第二数据良久化结果不都适应预设的良久化检测战略时，则跳出此实行修立第有时间阈值和第二光阴阈值并举办所述数据的良久化惩罚的轮回，确定所述光阴阈值为此时的第有时间阈值； 假若否，则确定所述光阴阈值为T2。

　　5.如权力央浼1所述的措施，其特质正在于，所述将所述缓存中的数据举办齐集、并将齐集后的数据良久化包罗: 将缓存中的数据依照区别的维度举办齐集，将具有不异维度的数据齐集成一条数据，并将齐集完工后的数据存储正在数据库或文献中。

　　6.一种及时数据惩罚体系，其特质正在于，包罗: 数据采纳单位，用于及时采纳数据并将所述数据放入队伍中； 数据缓存单位，用于轮回读取所述队伍中的数据并将读取的数据放入缓存中； 良久化单位，用于判别从所述队伍中读取数据的光阴是否凌驾预设的光阴阈值，假若是，则将所述缓存中的数据举办齐集，并将齐集后的数据良久化。

　　7.如权力央浼6所述的体系，其特质正在于: 所述数据缓存单位包罗数据读取记实子模块，用于将初阶轮回读取所述队伍中数据确当前光阴修立为第有时间Tl并记实； 所述良久化单位包罗数据齐集子模块，用于正在每次所述数据缓存单位从所述队伍中取出一条数据并放入所述缓存时，判别眼前光阴和Tl之间的光阴差是否凌驾所述光阴阈值，假若凌驾所述光阴阈值，则跳出读取所述队伍中数据的轮回，将缓存中的数据举办齐集，并将齐集后的数据良久化，假若未凌驾所述光阴阈值，则所述数据缓存单位不停轮回举办从所述队伍中读取下一条数据的操作。

　　8.如权力央浼7所述的体系，其特质正在于，还包罗: 光阴阈值设定单位，用于凭据设定的齐集结果的最小更新周期T2和答允的良久化的最小光阴间隔T3修立所述光阴阈值；个中，所述光阴阈值小于等于T2，而且大于等于T3。

　　9.如权力央浼8所述的体系，其特质正在于: 所述光阴阈值设定单位包罗: 试验阈值设定模块，用于将所述光阴阈值的差异修立为第有时间阈值和第二光阴阈值，并举办所述数据的良久化惩罚；个中，第有时间阈值的值为T2，第二光阴阈值的值为第有时间阈值的一半； 良久化试验模块，用于差异获取所述光阴阈值为第有时间阈值的第一数据良久化结果和所述光阴阈值为第二光阴阈值时的第二数据良久化结果，并判别所述第一数据良久化结果和所述第二数据良久化结果是否都适应预设的良久化检测战略；假若是，则所述试验阈值设定单位将第二光阴阈值的值赋给第有时间阈值，并将第二光阴阈值的值修立为新的第有时间阈值的一半，举办数据的良久化惩罚并检测数据良久化结果，依此轮回实行修立第有时间阈值和第二光阴阈值并举办所述数据的良久化惩罚，直到判别所述第一数据良久化结果和所述第二数据良久化结果不都适应预设的良久化检测战略时，则跳出此实行修立第有时间阈值和第二光阴阈值并举办所述数据的良久化惩罚的轮回；确定所述光阴阈值为此时的第有时间阈值；假若否，则确定所述光阴阈值为T2。

　　10.如权力央浼6至9任性一项所述的体系，其特质正在于: 所述良久化单位包罗良久惩罚子模块，用于将缓存中的数据依照区别的维度举办齐集，将具有不异维度的数据齐集成一条数据，并将齐集完工后的数据存储正在数据库或文献中。

　　1.盘算机视觉 2.无线.盘算机仿线.收集安闲；物联网安闲 、大数据安闲 2.安闲态势感知、舆情阐发和限制 3.区块链及操纵