<img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=145304570664993&amp;ev=PageView&amp;noscript=1">

91短视频

Skip to content
Michael Bronstein TGN

Jun 14, 2022 \ Machine Learning

????? IPU? ?? TGN(Temporal Graph Networks) ??? ???

???

Prof. Michael Bronstein, Emanuele Rossi, Daniel Justus

??? ?????(Michael Bronstein)? ?? ???? ??? ????(????) ???? ???(Twitter)? ??? ?? ?? ??????. ??? ????? ??? ???? ???? ??? ???? ??(Emanuele Rossi), ??? ?????? ?? ??? ??? ????(Daniel Justus)? ?? ? ?? ?? ??????.

??? ?? ???? ???? ?????? ??? ???? ??? ?? ???????? ??????. ??, ?? ? ? ?? ??? ???(GNN)? ?? ??? ?? ???? ?? ??? ???? ??? ? ??? ?? ????.

???? GNN ????? ???? ???? ??? ?????. ??? ? ??? ?? ??? ?? ????. ?? ???????? ?? ???? ???? ???? ??? ???? ??? ?? ??? ????. ?? ??, ?? ???? ?? ?? ?????? ???? ???? ????? ???? ???? ????? ??? ?? ? ? ????. ?? ?? ?? ???? ??? ? ?? ?? GNN ????? ???? ????, ???? ???? ? ??? ???[1].

TGN-fig-1

??? ?? ???? ???? ????? t1 ? t2?? ??? ??(edge)? ????? ???? ????.

?? ?????? ??? ??? ?? ???? TGN? ???? ??? ????, ??? ??? ?? ?? ???? ?? ??? ????? ???. ?? ????? TGN ??? ?????? Bow IPU? ??????. ?? ??, IPU ????? ??? ???? ????? ???? ??? ?? ? ?????. ???, ?? IPU ????? ???? A100 GPU? ??? ?? ?? ??? ???? ??? ?????.

TGN ????? ? ?? ?? ????? ???? ????. ??, ?? ???? ?? ??? GAN(Graph Attention Network)?? ??? ???? GNN ????? ?? ?????[2]. ?? TGN? ? ??? ?? ?? ????? ???? ???? ?????. ? ????? ???(sparse) ?? ? ?? ??? ?? ?????, GRU(Gated Recurrent Network)? ?? ??? ?????? ???????[3].

TGN-fig-2

TGN ?? ????: ?? ?? ?? ??? ?? ??? ?? GNN? ????, ?? ?? ???? ? ??? ?? ?? ???? ?????.

?? ??? ??? ??? ????? ??? ?? ??? ???? ??? ??? ????. ? ?? ?? ??? ?? ????? ? ??? ?? ??? ???? ?? ?? ??? ?? ??? ?????. ?? ??? ???? ?? ??? ?? ? ?? ?? ??? ?? ??? ??? ? ????, GAN? ?? ???? ???? ????.

?? ???? ??

?? ????? ?? ?????(Wikipedia) ??? ???? ?? ???? JODIE Wikipedia ?????[4]? ??? TGN? ??????. ??? ???? ?? ??? ? ??? ???? ?? ??? ?????. ???? 9,227?? ??(8,227?? ???? 1,000?? ??)? ?????? ?? 157,474?? ??? ????, ?? ??? ???? 172 ??? LIWC ????[5]? ???? ???? ????.

?? ???? ??? ??? ???? ?? ?? ??? ???? ???? ??, ??? ?? ??? ???? ???? ???? ??? ?? ??(contrastive loss)? ?? ?????. ?? ??? ???? ???? ???? ???? ?? ??? ??? ? ?? ??? ?????.

????? ? ? ???, ?? ??? ? ?? ?? ? ?? ??? ? ?? ??? ?????. ?? ???? ??? ??? ? ? ?? ??? ??? ??? ???????. ??? ? ?? ??? ?? ???? ?? ??? ?? ???? ?? ??? ??? ??? ??? ??? ? ????. ??? ?? ???? ?? ??? ????? ??? ??? ?? ?? ? ? ????.

TGN-fig-3

??? ?? ??? ???? ?? ?? ?? 10?? ??? ?(??)? ?? ?? ?? 10?? ???? ??? ?? ??? ??? ?(???)? JODIE/Wikipedia ???? ?? TGN? ???

???, ?? ??? ?? ???? ?? ? ?? ???? ?? ???? ???? ?? ??? ??? ???? ?????. ?? ??4?? ??? ? ???, ??? ????? ???? ??? IPU? ?? ??? ? ?? GPU?? ? ?? ???? ??? ? ????. ?? ?? ?? 10? ??? ?? TGN? IPU?? 11? ? ??? ??? ? ???, ? ? ?? ??? 200? ?????? IPU??? ?? ??? ??? ? 3? ? ????.

TGN-fig-4

???? A100 GPU? ????, Bow2000 IPU ????? ?? IPU? ??? ?? ??? ?? ??? ?? ??? ?? ??

?????? IPU?? ???? TGN ??? ??? ??? ??? ???? ?? TGN? ?? ???? ??? ???? ???? ??? ??? ??????. ??, Attention ??? GRU ???? IPU? GPU? ??? ??? ???? ?? ??? ? ?????. ?? ?? ??? ??, IPU? ?? ??? ?? ? ????? ???? ??? ??????.

?? ??? ??? ? ???? ?????? IPU? ??? ???? ?? ??????. ?????, IPU ????? ??? ? ??? ???? ?? ???? ? GPU ?? ??? ??? ???? ??? ?? ? ?????.

TGN-fig-5

?? ??? ?? ? IPU? GPU?? ???? TGN???? ??

? ???? ??

?? ??? TGN ??? ????? ? 260,000?? ??? ??? ??, ? ??? ? ???? ???? ???? IPU ????? ???? ?? ????? ?????. ??? ??? ??? ?? ??? ? ??? ??? ???? ??? ? ???, ? ?? ????? ??? ???? ??? ??? ?????.

? ????? TGN ????? ????? ?? 1,550? ?? ??? ???[6] ??? 2? 6,100? ???? ??? ???? ???? ??????. ???? ?? ??? ??? ??? ???? ??? ?? ??? ?? ??? ???? ?? 728?? ?? ?? ?????? ??????. ? ??????? ?? ?? ?? ??? ?? ??? ??? ??? ????? ?? ??(temporal evolution)? ???? ???? ? ??? ??????.

??? ?? ??? ???? ??? ???? ???? ??? ???? ??? ?? ??????, ???? ???? 1,000?? ???? ?? ??? ?? ??? MRR(Mean Reciprocal Rank)? ??? ?? ????? ??????. ??, ????? ??? ??? ?? ??(hidden size)? ?? ?? ??? ????? ?? ? ? ?????. ?? ??? ???? ?? ???? ??? ??? ?? ??? ??? ??? 256???? ??????.

TGN-fig-6

??? ??? ?? ??? ?? 1,000?? ???? ?? ?? MRR(Mean Reciprocal Rank)

?? ???? ??? ???? ???? ???? ? 2? ?????. ??? ?? ?? ??? ???? 10??? ??? ??? ??? ?? ?????? ??? ??? ?? ?? ???? ??? ??, ???? ??? ??? ?? ???? ? ? ?????(? 1). IPU?? ??? ??? ???? TGN? ?? ??? ??? ??? ??? ? ????. ?? ?? ??? ??? ???? ?? ???? ????, ?? ? ?? ?? ?? ?? ???? ??? ? ??? ?????.

TGN-fig-7

??? ??? ???? ?? ?? 256?? TGN? ??? ? ?? ?? 256? ???? ?????. Twitter-tiny? JODIE/Wikipedia ??? ??? ??? ?????.

??? ?? ?? ??? ???? ?? ???? ??? ?? ??? ????? ???? ?? ???? ???. ??, ?? ???? ???? ????? ????? ???? ??? ??? ??? ?????, ????? ????? ?? ??? "???”? ???? ????. ??? ??? ????? ??? ?? ??? ??????? ???? ???? ???? ???? ????? ???? ????? ????. ?? ??? ? ??? ??? ?? ? ?? ??? ???? ???, ??? ?? ?? ??????? ?? ?? ???? ????? ???? ????? ??? ? ?? ??? ?? ??? ??? ????.

 

[1] E. Rossi et al., (2020) arXiv:2006.10637. See accompanying .

[2] P. Veli?kovi?, et al., Graph attention networks (2018) ICLR.

[3] K. Cho et al., (2014), arXiv:1409.1259.

[4] S. Kumar et al., (2019) KDD.

[5] J. W. Pennebaker et al., Linguistic inquiry and word count: LIWC 2001 (2001). Mahwah: Lawrence Erlbaum Associates 71.

[6] A. El-Kishky et al., (2022) arXiv:2205.06205.

??? ? ??