クローラー

数百サイトのクローラーを効率よく運用する仕組み

こんにちは! バックエンドエンジニアのりほやんです! 2017年の2月28日にIQONはリブランディングを行い、タグラインを “わたしの「好き」がここにある” に刷新しました。 この “わたしの「好き」がここにある” という体験をユーザーにしていただくには、IQO…

Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築

わーい!コンテナたのしー! こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。 弊社が運営するファッションサイトIQONでは、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。 新商品の追加・商品の…

便利なXPathまとめ

こんにちは。 今日も元気にクローラー作成!バックエンドエンジニアのりほやんです。 最近クローラーを作成する機会が多く、その時にXPathが改めて便利だと思ったので XPathについてまとめてみました!XPathを学ぶ方の役に立てれば幸いです。 初級編 XPathと…

ディープラーニングを活用したマイクロサービスを構築し、画像から商品カテゴリの分類をしてみる

ディープラーニングを使って商品画像から商品カテゴリーの分類を行うマイクロサービスの設計・製作を行い、クローラーに組み込みを行いました。 その結果、分類精度99.7%を達成しました。