论文题目：《BROS：一种专注于文本和版面信息的预训练语言模型，用于更好地抽取文档关键信息》

概述

本文提出了一个预训练语言模型 BROS，它专注于对文本和布局特征进行建模，以有效地从文档中提取关键信息。通过对文本在二维空间的相对位置进行编码，并使用区域策略掩码对模型进行预训练，BROS 在不依赖任何其它视觉特征的情况下展示出优越的性能。此外，BROS与其它预训练模型相比，对不同单词排序具有更好的鲁棒性。

整体框架

实验 & 结果