IBIS2017参加報告

こんにちは、データチームの後藤です。 VASILYデータチームは2017年11月8日〜11日にかけて、東京大学の本郷キャンパスで行われた第20回情報論的学習理論ワークショップ(以下、IBIS2017)に参加しました。本記事では、発表の様子や参加した感想をお伝えしたいと思います。

f:id:vasilyjp:20171116225253j:plain

IBIS2017について

IBIS2017
IBISは機械学習に関する国内最大規模の学会です。機械学習や統計学、情報理論などの理論研究や、機械学習の応用的な研究が対象となります。参加登録数は去年の約2倍の1036人となっており、その規模は加速的に大きくなっています。

初日の懇親会では「IBIS年代記」と題して、20年の歴史を振り返るトークも行われました。絶滅の危機に瀕しているトキ(IBIS)は絶滅寸前のニッチな研究者集団という意味を表している?そうですが、今となってはビッグデータや深層学習のブームと重なり、絶滅寸前の影を微塵も感じさせません。 IBIS年代記

以下は、IBIS2017のプログラムです。

日付 内容
11月8日(水) 招待講演1:Nathan Srebro
招待講演2:Edward Albert Feigenbaum
企画:国際会議採択論文
懇親会
11月9日(木) 企画:自然言語処理への機械学習の応用
ポスターセッション1
企画:実社会への機械学習の応用
11月10日(金) 企画:画像処理への機械学習の応用
ポスターセッション2
招待講演:渡辺澄夫
11月11日(土) チュートリアル

我々は昨年のIBIS2016で「VAEとGANを活用したファッションアイテムの特徴抽出と検索システムへの応用」 というタイトルで発表し、多くの方々に成果を伝えることができました。その後もサービスの研究・開発を進め、今年はその中から2つの成果を発表することにしました。

発表

D1-50: 学習可能なマスクを用いた柔軟な類似度計算手法

ディスカッショントラック1日目では、インターン生の上月が「学習可能なマスクを用いた柔軟な類似度計算手法」というタイトルで発表しました。

f:id:vasilyjp:20171116225313j:plain

概要

畳み込みニューラルネットワーク(CNN)に画像と属性の組を学習させ、類似度を計算しやすい特徴量を得ることを目指します。その際、特徴量を出力する層に属性の内容に応じたマスクをかけ、属性の内容と特徴量の次元に対応関係を持たせます。例えば、靴のヒールの高さと靴の性別は性質の異なる属性なので、マスクを切り替えて特徴量を抽出します。この工夫により、属性の内容ごとにモデルを作成する手間が省け、一つのモデルで複数の属性を扱うことができるため、サービスへの実装の観点からメンテナンス性の高いモデルを得ることが期待できます。

一方で、靴のヒールの高さと性別は完全に独立な性質のものではなく、互いに共有している特徴も含みます。そこで今回は独自の工夫として、属性固有の独立した特徴と各属性に共有される特徴を明示的に分けて学習するようマスクを設計し、より解釈性の高い表現を得ることを試みました。

実験のデータセットにはUT Zappos50Kという靴の画像と属性(靴の種類、靴の閉め方、性別、ヒールの高さ)を利用しています。以下の図はわかりやすさのために、CNNから得られた特徴量の空間を二次元で表現したものです。サンダル、スニーカー、ブーツといった靴の種類に関する属性は、それぞれ距離を置いて位置づけられています。この技術は属性を変化させながら画像検索する機能の実装などに利用できます。

f:id:vasilyjp:20171117161213p:plain

発表ポスター

PDF版はこちら
f:id:vasilyjp:20171117192653j:plain:w300

D2-23: ブランドコンセプトを反映したファッションアイテム類似検索

ディスカッショントラック2日目に、中村が「ブランドコンセプトを反映したファッションアイテム類似検索」というタイトルで発表しました。

f:id:vasilyjp:20171116225323j:plain

概要

ファッションに関する商品データには、ブランド毎にサンプル数の偏りがあるため、ブランド判別問題において十分な学習サンプルが得られないブランドが存在します。
この問題を解決するために、IQONユーザーのブランドLIKEのデータをword2vecに学習させて得られる、ブランドの分散表現を活用します。ブランドの分散表現をクラスタリングしてメンバーの内容を解釈すると、データの生成元であるユーザーのペルソナが浮かび上がってきます。

f:id:vasilyjp:20171117161250p:plain

Deep Visual Semantic Embedding Model (DeViSE)を使って、CNNで抽出する画像特徴量がブランドの分散表現に寄るようにモデルの学習を進めます。 このようにして学習したCNNはブランドの意味表現を反映した画像特徴量を抽出するようになることが期待されます。

以下の図は、クラスタのサンプルサイズとAccuracy(左)、Precision@5(右)の関係を表しています。赤線上が等しいスコアを意味し、サンプルサイズを色で表しています。図の赤線の上側に位置する点はDeViSEが勝っているクラスタになります。Accuracyの観点では、ほとんどすべての場合でDeViSEよりもSoftmaxのほうが勝っています。一方、Precisionの観点では、主にサイズの小さいクラスタ(青点)に対するPrecisionに大きな向上がみられることがわかるかと思います。Presicionが重要になるタスクにおいて、サンプルサイズの小さいブランドを分散表現のような補助情報を用いて学習することで上手く活用できることがわかりました。

f:id:vasilyjp:20171117173951p:plain

発表ポスター

PDF版はこちら
f:id:vasilyjp:20171117192705j:plain:w300

その他の研究

[招待講演1] Supervised Learning without Discrimination

講演者:Nathan Srebro先生
Toyota Technological Institute at Chicago(TTIC) の研究者、Srebro先生による講演です。機械学習システムが差別的判断をしないためにどう取り組めばよいかというフレームワークのお話でした。信用評価や広告の出し分けなどのタスクにおいて、意図せず人種や性別の差別をしている機械学習システムが存在します。差別につながる変数Aを利用しないという方法も考えられますが、予測値YはAに依存する可能性があります。このような問題設定の場合に、講演中で紹介されたdemographic parityやequalized oddsなどの考え方が参考になります。

以下が参考文献です。
"Equality of Opportunity in Supervised Learning"
https://arxiv.org/abs/1610.02413
"Learning Non-Discriminatory Predictors"
https://arxiv.org/abs/1702.06081

[招待講演2] Advice to Young and New AI Scientists

講演者:Edward Albert Feigenbaum先生
「エキスパートシステムの父」こと、Feigenbaum先生から、若手研究者へのメッセージです。講演では、若手研究者に対して、大勢の人が取り組む積み上げ型のサイエンスではなく、分野にブレイクスルーをもたらすような研究を行うよう奨励していました。その際、Deep LearningのようなPerceptual AI(問題に対して反射的に回答するAI)の分野ではなく、課題の多いCognitive AI (深い思考をするAI、判断の説明ができるAI)の分野をやるべきだとのことです。ほかには、ブレイクスルーを起こすには、頭で考えるだけでなくあらゆる可能性を実験で確かめることが大切だというメッセージもありました。

Learning from Complementary Labels (NIPS 2017)

講演者:石田隆さん
"Learning from Complementary Labels"
https://arxiv.org/abs/1705.07541

データとラベルが正しいかどうかの二値のデータは、多クラスデータの正確なラベル付けよりも簡単に得られます。このようなComplementary Labelを持つデータセットの多クラス判別を学習する枠組みを提案しています。クラウドソーシングなどを利用したデータアノテーションへの応用が利きそうなお話でした。

D1-41: IILasso:相関情報を罰則項に導入したスパースモデリング

発表者:髙田正彬さん
Lassoは変数間の相関が強い場合に、互いに相関の強い変数を選択しやすいため、モデルの解釈性や汎化誤差が悪化します。提案手法(Independent Lasso)では、相関情報を罰則項に取り入れて学習します。実験では汎化誤差が改善しているようです。Lassoの一般化にあたり、とても汎用性の高い手法であると思いました。

D1-27: 教育ログデータからの解釈性を重視した潜在スキル推定

発表者:玉野浩嗣さん
学習者が問題に取り組んだ正誤ログから、学習者が持っている潜在的なスキルの時系列変化と、実際に問題を解くのに必要な潜在スキルを同時に推定する手法を提案しています。確率モデルを使った問題の定式化が納得感のあるものとなっており、得られた結果の解釈性も高い研究でした。問題設定に適したオープンデータが少ないために検証に苦労しているようです。

D1-32: Maximum mean discrepancyに基づく分布マッチングを用いた教師なしドメイン適応

発表者:熊谷充敏さん
教師なしでドメイン適応をする研究です。Maximum mean discrepancyに基いて、教師ありで学習した元ドメインと教師なしの目標ドメインの特徴分布がおなじになるように変換則を学習します。目標ドメインのラベルが無くても適応可能である点と、分布を圧縮しないので情報のロスが少ない点が良さそうです。

T2-09: カウントデータに関する多次元ヒストグラムのビン幅最適化

発表者:武藤健介さん
カウントデータのヒストグラムの最適なビン幅を推定する研究です。MISEからビン幅に依存する部分を抽出すると、ビン幅は真の確率密度に依存しないということがわかり、最適なビン幅が求めらます。多次元ヒストグラムでも同様の性質が成り立ち、最適なビン幅が得られるそうです。最適なビン幅と実験機器の分解能を関係付けると必要なカウント数が求められ、実験者が観測時間を設定できるのが良い点です。

T2-16: Generative Adversarial Networksを用いた確率的識別モデルから訓練データ生成分布の推定

発表者:草野光亮さん
公開された予測モデルから訓練データの生成分布を推定するという研究です。学習に利用されたデータが手元にないより厳しい場合でも、ドメインの異なる補助データを利用することで、訓練データ生成分布を推定できることを示しています。例えば、個人情報を学習データに使った場合に、悪意のある攻撃者からデータの分布を推測され悪用されるという危険性を示しています。

D2-12: クラウドソーシングを用いた半教師あり学習のための深層生成モデル

発表者:新 恭兵さん
クラウドソーシングによるデータアノテーションはワーカー毎の作業品質にばらつきがあるという欠点があります。ワーカーが付与したラベルの生成プロセスをモデル化し学習することで、精度向上のみならず、ワーカーの特徴をパラメトライズしたり、ワーカーを分類したりすることができるようになります。論文はちょうど投稿したばかりとのことで、まだ読めないようです。

感想

得るものが多い三日間でした。普段は追えていない車の自動運転やロボット分野の研究を学ぶことができてとても刺激的でしたし、レベルの高い研究に感化されてチームとして研究に対する熱意が高まっている状態です。また、VASILYの研究内容やデータに興味を持っている学生たちとお話することができ、今後につながっていく出会いがあったのもよかったです。
業務への応用という意味では、データの少ない・ラベルが無い・ラベルにノイズが多いなど、様々なデータ事情に対する課題に取り組まれている研究が多く、参考になりました。Webから得られるデータを扱うと、このような場面に出くわすことが多々あるからです。また、クラウドソーシングによるデータのアノテーションを想定した研究もあり、効率的に価値の高いデータを生み出す方法には今後も注目していきたいと思いました。

最後に

VASILYでは、最新の研究にアンテナを張りながら、同時にユーザーの課題解決を積極的に行うメンバーを募集しています。本記事のように、業務の一環として研究発表や学会に参加することを認められる環境です。 興味のある方はこちらからご応募ください。