VQ-BeT: Behavior Generation with Latent Actions

Seungjae Lee1   Yibin Wang2   Haritheja Etukuru2   H. Jin Kim1   Nur Muhammad Mahi Shafiullah2,*   Lerrel Pinto2,*  
Seoul National University1, New York University2
* equal advising

VQ-BeT for Autonomous Driving

Forward
vq-bet
vq-bet
vq-bet
vq-bet
vq-bet
Turn Left
vq-bet
vq-bet
vq-bet
Turn Right
vq-bet
vq-bet
vq-bet
Stop
vq-bet
vq-bet
vq-bet
Failure Cases
vq-bet
vq-bet
vq-bet