gangsta's questions

有必要在时间序列上建立机器学习模型来评估通信质量。

该数据集是在 14 天 (01/15/2016-01/28/2016) 内收集的，包含 7026706 行和 6 列：Dest。IP、最后一跳 IP、LQ、NLQ、成本。在这个数据集中，我为所有行添加了一个日期列并删除了 Dest 列。IP、最后一跳 IP、NLQ、成本。结果，我得到了踪迹。数据集。

接下来，我根据日期绘制了 LQ 值。

并对最后一次观测（24小时）进行了预测：0.9105833333333333

目前的代码：

import pandas as pd
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from glob import glob
from datetime import datetime, time
from pandas.plotting import autocorrelation_plot
from statsmodels.graphics.tsaplots import plot_acf

#Формирование датасета
files = glob("/content/newDataset/*.tsv")
dataset = pd.concat([pd.read_csv(f, sep="\t", skiprows=1) for f in files], 
           ignore_index=True)

n_samples = 7026706 
dt_from = pd.to_datetime("2016-01-15 00:00:00.000000")
dt_to = pd.to_datetime("2016-01-28 23:59:59.999999")
dataset["DateTime"] = pd.date_range(dt_from, dt_to, periods=n_samples)
dataset['LQ'] = dataset.LQ.astype('float64')
#df = pd.DataFrame(dataset)
del dataset['Dest. IP']
del dataset['Last hop IP']
del dataset['NLQ']
del dataset['Cost']
#dataset.drop(['Dest. IP', 'Last hop IP', 'NLQ', 'Cost'], axis=1)
print(dataset)

#График
def plot_series(time, series, format="-", start=0, end=None, label=None):
    plt.plot(time[start:end], series[start:end], format, label=label)
    plt.xlabel("DateTime")
    plt.ylabel("LQ")
    if label:
        plt.legend(fontsize=14)
    plt.grid(True)

def trend(time, slope=0):
    return slope * time

time = dataset['DateTime']
series = dataset['LQ']
plt.figure(figsize=(30, 6))
#plot_series(time, series)
#plt.show()
dataset.set_index("DateTime")["LQ"].rolling(window=600000).mean().plot()

#прогноз по последнему наблюдению
def moving_average(series, n):
    return np.average(series[-n:])

moving_average(dataset.LQ, 24)

由于我的机器学习能力不强，那么：

1. 我需要平滑时间序列吗？
2. 什么模型可以用于这个任务？
3. 我是否正确理解没有异常值并且该系列是固定的？

项目文件。

LQ 与日期/时间图和相关图

我正在制作一个 ML 模型 - 基于时间序列的链接质量预测。我上传了数据集，准备好了。我想构建一个值对日期的依赖性的线性图，但我得到了一个“粥”（副主编，请参阅更改历史中的屏幕）：

import pandas as pd
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
from glob import glob
from datetime import datetime, time
from pandas.plotting import autocorrelation_plot
from statsmodels.graphics.tsaplots import plot_acf

files = glob("/content/newDataset/*.tsv")
dataset = pd.concat([pd.read_csv(f, sep="\t", skiprows=1) for f in files], 
           ignore_index=True)

n_samples = 6992974 
dt_from = pd.to_datetime("2016-01-15 00:00:00.000000")
dt_to = pd.to_datetime("2016-01-28 23:59:59.999999")
dataset["DateTime"] = pd.date_range(dt_from, dt_to, periods=n_samples)
dataset['LQ'] = dataset.LQ.astype('float64')
dataset.head()

def plot_series(time, series, format="-", start=0, end=None, label=None):
    plt.plot(time[start:end], series[start:end], format, label=label)
    plt.xlabel("DateTime")
    plt.ylabel("LQ")
    if label:
        plt.legend(fontsize=14)
    plt.grid(True)

def trend(time, slope=0):
    return slope * time

time = dataset['DateTime']
series = dataset['LQ']
plt.figure(figsize=(10, 6))
plot_series(time, series)
plt.show()

它可以与什么连接？

我有两个数据集——一个是训练，第二个是主要的。

需要为每个数据集添加一个新列，该列又必须填充日期和时间（我将在模型中使用时间序列）。

第一个数据集包含 498534 条记录。开始日期/时间值为2016-01-15 00:00:00，结束值为2016-01-15 23:59:59。我计算出平均 5-6 条记录应该在一秒钟内落下。

第二个数据集包含 4406900 条记录。开始日期/时间值为2016-01-16 00:00:00，结束值为2016-01-28 23:59:59。平均还 - 5-6 记录一秒钟。

我用谷歌搜索了熊猫日期时间文档，但仍然不明白如何最终实现这一点。

我正在做 ML 来预测无线网状网络中的链路质量。我有一个包含大量 .tsv 文件（大约 4000 个）的数据集。文件格式：topo-2016-01-15-00_00.tsv；topo-2016-01-15-00-00_05.tsv; ...; topo-2016-01-15-15-23_55.tsv。以 5 分钟的间隔在 14 天内收集数据。文件内容如图：

如何将这些文件合并为一个以便进一步使用它们？