1ペタバイトのデータセットで機械学習する / WebDataset入門

深層学習をする上で、最も大切なマシンスペックを聞かれたら何と答えますか? GPUのTensor性能、VRAM、GPUの数、CPU性能、メモリ、… 問題によって正解は異なりますね。 しかし、特に大規模なデータセットで機械学習する場合では、しばしばネットワーク帯域とストレージシステムのディスクI/Oによって制限されます。この記事ではそのような課題に対して、学習側でどのようにデータを扱うかを見ていきたいと思います。 続きを読む

【TURING】End-to-Endで限定コースをぐるぐる走る機械学習モデルを作って実際に車を動かした話【自動運転】

Budapestは、カメラ画像から深層学習でEnd-to-Endでハンドルを制御し、限定空間の決まったルートを周回し続けるというプロジェクトです。 このプロジェクトの目的は、車の改造から、制御、深層学習による実車走行、を社内で一気通貫して行うことで、自動運転スタートアップとして知見を溜めること。それを皆さんに共有することでTURINGがどういう会社なのか知ってもらうことです。 続きを読む