Yanal-Lab News

イベントURL：http://passmarket.yahoo.co.jp/event/show/detail/01ga1ky1mv5c.html

イベント概要
Deep Learningに携わる実務者の方々、日頃からCaffeやChainerなどを活用しバリバリと研究・開発している研究者・学生・エンジニアの方々が最先端の技術情報を共有する場になれば、ということでヤフーのミッドタウン本社を会場に半日のセミナーを開催致します。
Caffeの開発元として有名なBerkeley Vision Learning Center（BVLC）のメンバーの来日にあわせ、国内からも業界をリードする方々に参画いただき最新のトピックを共有いただきます。

タイムテーブル（予定）
13:20- Opening (Yahoo! JAPAN)
13:30- BVLC Session
15:00- -- COFFEE BREAK --
15:20- Deep Learning use case in Yahoo! JAPAN #1
15:40- Talk by Prof. Harada
16:30- -- BREAK --
16:40- Deep Learning use case in Yahoo! JAPAN #2
17:00- Talk by PFI/PFN
17:50- -- Pizza time --

講演詳細
BVLC Session

• Overview

Presenter: Prof. Trevor Darrell

• Research talks

Presenter: Forrest Iandola and Judy Hoffman

• “CAFFE Future Directions” PANEL

Panelists: Shelhamer Evan, Jeff Donahue, and Jonathan Leonard Long


13:30~15:00

論文紹介：http://arxiv.org/abs/1601.01705
Title: Learning to Compose Neural Networks for Question Answering
中身：
画像認識を学習させたのと、テキストから言語モデルを学習させ、それらを組み合わせたうえで画像としては（または言語としては）未知の対象を転移学習で推定する。強化学習も使ってる


今話してるshelhamer氏はcaffeのメイン開発者でもあり、画像研究でも有名で、このfully conv segmentationが去年登場したことがきっかけで、セグメンテーションの精度と速度は100倍に精度は30ポイントもあがった


論文：http://arxiv.org/abs/1511.06856
Title: Data-dependent Initializations of Convolutional Neural Networks
中身：
Jeffのtalk, 重みの初期化時に各レイヤーの出力を減衰や発散しないように、重みをスケールする。その際、重みの初期値として、入力のk-meansのクラススタリング結果を各フィルタの初期値として使うのが有効


論文：http://arxiv.org/abs/1511.00175
title: FireCaffe: near-linear acceleration of deep neural network training on compute clusters
紹介title: Parallel DNN Training in FireCaffe
中身：
FireCaffe, 128台で47xの高速化（バッチサイズは1024）、ImageNetに対するGoogleNetの学習が10.5時間でできる。

SqueezeNet (http://arxiv.org/abs/1602.07360) + DeepCompression(http://arxiv.org/pdf/1510.00149) で、alexnetを同精度のまま1/461のサイズにできる

<Next talk is by Judy Hoffman, "Deep Domain Adaptation>
論文：http://www.eecs.berkeley.edu/~jhoffman/papers/Tzeng_ICCV2015.pdf
title: Simultaneous Deep Transfer Across Domains and Tasks
中身：
学習データが存在しない新しいドメインのデータが発生した際の課題に対して、既存のドメインとうまく適合させ解決していくとのこと．
二つの異なるドメインでの転移学習をする際に、そのデータがどちら由来かを分類するタスクを走らせ（これは教師なしでできる）、それが区別がつかなくなるように学習する＝ドメインに依存しないような表現を獲得する

<質疑応答to BVLC>
pfn: 岡野原
Q:名詞以外の動詞や前置詞などは画像においてどう表されているのか？　A:現在は名詞だけを扱って、他は特別扱いをしているが今後は統一的に処理したい。また時間に関係する表現は画像ではあまりないがビデオを扱うとでてくるのでそこは今後やっていきたい

感想：色んなことやっててBVLCすごい．セッションは全て英語でよくわからないけど，ツイッターの岡野原さんの要約でなんとかなった．

15:20~15:40

タイトル：Yahoo! JAPANでのCaffeの利用事例
概要：Yahoo! JAPANでは画像を伴うサービスの改善の試みにCaffeが使われている。ここでは複雑な学習データセットを伴わないCaffeの利用事例を紹介する。

内容：
ヤフー内での画像処理におけるCaffeの活用や人間が注目する領域を検出するサリエンシーマップとの組合せによる当社実例

15:40~16:30
<原田達也先生（東京大学）>
タイトル：画像理解のための機械知能
概要：本講演では，はじめに，特別なソフトウェアがインストール不要であり，かつ，計算機アーキテクチャに非依存で，分散計算可能な，深層学習も含む機械学習プラットフォームを紹介する．また，膨大なマルチラベルデータを機械学習を用いて処理する際に生じる根本的な問題と，その解決方法について考える．さらに，雑多な環境下におけるウェアラブルカメラからの動作認識などの画像認識の応用例などの取り組みも紹介する．

原田先生の口から、imagenet 2012のDNNが2位以下をぶっちぎって勝ったとされるときに、引き合いに出される既存手法の二位は私達ですということが紹介された
ブラウザ上でDeepLearning
URL: http://mil-tokyo.github.io/miljs.html

WCD+HCDを組み合わせて日常的な作業を説明に約90%の割合
WCD: 手首につけたカメラ(物体検出いらない)
HCD: ヘッドマウントディスプレイ(物体検出必要)

原田先生：頭や手首にカメラをつけて、その人の行動を理解するためには、物体認識が有効、本を持っていたら、読書、包丁をもっていたらおそらく料理とわかる。また、ヘッドマウントよりも、手首にカメラつけた場合の方が物体検出は必要なく認識は簡単

"Inceptionism: Going Deeper into Neural Networks"
url: http://googleresearch.blogspot.jp/2015/06/inceptionism-going-deeper-into-neural.html
jigsaw pazzle solver
https://www.cs.bgu.ac.il/~icvl/icvl_projects/automatic-jigsaw-puzzle-solving/
画像の認識に左右両方向からのLSTMと上下両方向からのLSTMの2次元のLSTMから、元の画像を推定すると、精度を高くすることが出来たとのこと

感想：

16:40~17:00
[Deep Learning use case in Yahoo! JAPAN #2]
Shumpei Okura, "Deep Learning for News Recommendation"
タイトル：ニュースレコメンドにおけるDeepLearningの応用
概要：Yahoo! JAPANのトップページにおけるニュースレコメンドの概要について述べる。その一部ではDeepLearningを利用しており、それらの取り組みと課題について紹介する。

→画像と関係ないので省略．若手研究奨励賞とかなんとか受賞してるYahooのエンジニア

17:00~17:50
[DeepLearning in real world]

タイトル：実世界におけるディープラーニング：自動車，ロボット，バイオヘルスケア
概要：本講演では，弊社の取り組みとして，自動車，産業用ロボット，バイオヘルスケアにおいてディープラーニングがどのように利用されているのかについて紹介し，今後のディープラーニングの研究の方向性について述べる．

岡野原さん：今後なにが必要になっていくかというと動画や群衆などに対して、人手で正解データを作ることが困難な見通しが立っている。そのため、ワンショットやsemi supervisedでの学習が求められる。そのため、強化学習や機械同士で教え合う手法が発展していく
得居さん：Chainerは高速に改善を回していくようなスタイルや新しい論文などの追試などをすぐに行うような利用シーンを想定したプロダクトになっているので、そうした用途において非常に強みがある。そしてPythonベースのフレームワークになっている。

タイトル：「Chainerの概要と機能紹介」
概要：Chainerはオープンソースの深層学習フレームワークである。他のフレームワークと比べてより動的に計算グラフを構築し、高い柔軟性とデバッグの容易さが特徴である。本講演では、Chainerの概要とコンセプト、それに搭載されている機能を簡単に紹介する。

Chainerは高速に改善を回していくようなスタイルや新しい論文などの追試などをすぐに行うような利用シーンを想定したプロダクトになっているので、そうした用途において非常に強みがある。そしてPythonベースのフレームワークになっている。

caffe開発者の目の前でchainerについて説明するPFNの構図がなんともいえなかった

17:50- -- Pizza time --
感想：ピザを1ホールくらいとビール2本程飲みました．交通費460＊2の元は取ったと思います．ただ，帰りにパスモ(600円程)落としました．悲しいです．

全体感想：画像生成，文章生成が終始出ていた印象．あと，深層強化学習も結構話に挙がってました．SqueezeNet とDeepCompressionはちゃんと読んでおこうと思います．