我正在尝试读取日志文件，并使用Databricks和 Python将数据拆分为多列。目前到目前为止，我已经能够将字符串拆分成数组格式，但还无法把它们放入列中。比如：类型、日期、时间、备注

from pyspark.sql.functions import split

df_split = (
    df.select(split('content', r' ', 0).alias('row'))
)

df_split.select('row').display()

我需要把它显示为以下格式：

解决方案

First, use the split function to split the content column into arrays of length 4.

Then, use list comprehensions to dynamically generate the select expression.

from pyspark.sql import functions as F

df = df.select(F.split('content', ' ', 4).alias('row'))
cols = ['type', 'date', 'time', 'comments']
col_expr = [F.col('row').getItem(i).alias(c) for i, c in enumerate(cols)]
df = df.select(*col_expr)
df.show()