Technology

AWS Data PipelineとAthenaを使ってお手軽DWHを3分クッキング

横澤です、いつもお世話になっております。 本当は5月に書こうと思っていたネタなのですが、最近は時空の歪みの影響を強く受ける事があり気づいたら6月になってしまいました。 本題です、本エントリではData Pipelineを使ってRDSデータをS3にエクスポートし…

railsのactive jobでGoole Cloudのpub/subを使う

こんばんは、エンジニアの福崎です。 最近仕事でGCPを使ってます、AWSに比べて情報は少ないけど意外にドキュメント揃っているので ドキュメント読めば簡単なチュートリアルは動かせちゃいます。 まだネットに情報少ないので個人的には公式ドキュメントを読み…

WebpackをRailsに導入する方法を比較する: 後編

こんにちは、エンジニアのケントです。 前編の解説により、webpackerが提供する方法論は js環境構築がとても楽である webpackerが提供する環境に開発がロックインされる ということがわかりました。 後半ではWebpackとRailsを独立して使う方法を解説し、ruby…

WebpackをRailsに導入する方法を比較する: 前編

こんにちは、エンジニアのケントです。 2017年のフロントエンドの開発において、Webpackが大人気です。 イタンジのプロダクトはRailsで開発することが多いのですが、WebpackをRailsに導入することを考える場合、大きく分けて二つの選択肢が考えられます。 ru…

機械学習エンジニア育成プログラムを外部にも公開しました

こんにちは、エンジニアの建三です。 前回のブログで機械学習エンジニア社内育成プログラム(MLTP)のお話をしました。開始から一ヶ月程経ち、大分コンテンツが溜まってきました。社内のエンジニアからも分かり易いと好評です。 そこで今回MLTPを外部にも公開…

全エンジニアに機械学習のスキルを

こんにちは、エンジニアの建三です。 イタンジでは先週MLTP(Machine Learning engineer Training Program)なるものを始めました。これは何かというと、イタンジの全エンジニアに機械学習のスキルを身に付けてもらおうという試みです。 これには主に3つの理…

汎用的クローラーの構築

こんにちは、エンジニアの建三です。 クローラーを作る際に必要なものは大きく分けて3つあります。 1. URLを取得するスパイダー - 不動産の例で言うと、サイトに掲載されている全物件の詳細ページのURLを取得するスパイダーが必要です。 2. XPath(あるいはC…

crawleraを使ったクローリングの最適化

これは日本情報クリエイト Engineers Advent Calendar 2016の24日目の記事です。 元日本情報クリエイトのエンジニアなのでOB枠として参加させてもらいます! 日本情報クリエイトは宮崎で不動産系の自社プロダクトを開発し、日本全国に販売している会社です。…

ReduxとReact Routerの相性が悪いのでrouterを一から書いてみた

こんにちは、エンジニアの建三です。 Reactと一緒に使うRouterと言えばReact Routerですよね。しかし僕のReact+ReduxアプリにReact Routerを導入してみると、どうも思うようにいきませんでした。 Reduxは"Single Source of Truth"をモットーにしており、Red…

Twilio × Lambda × API Gateway で PRIMARY HANDLER FAILS を制御する

イタンジエンジニア、濱田です。 今回は、twilioを使っているサービスに障害が発生したときに、slackに通知したり、twilioにかかってきた電話を転送する仕組みを、aws lambda と aws api gatewayで実現する方法についてお話します。 背景 弊社では、twilioを…

Reactを毛嫌いしてるが実は好きになりたい人へ

こんにちは、エンジニアの建三です。今までは機械学習に関する記事ばかり書いていましたが、実はフロントエンドも大好きです。 僕がWeb開発を始めた3年前はJS Framework全盛期だったので、JQueryをすっとばしてAngularから入りました。その後数々のLibrary…

サービス毎にとっちらかったMySQLデータベースをfluentd経由でBigQueryに集約してDWH作っちゃうゾ★の巻

横澤です、平素よりお世話になっております。 昨今は機械学習とか人工知能というワードがバズっている影響もあり、ビッグデータとかDWH(データウェアハウス)というワードも関連して話題に上がりますね。 ビッグデータと一口にいってもその形態やフェーズは…

どうしても不動産価格査定をRubyからRを使ってやりたかった

エンジニアの濱田です。イタンジでは、AIによる不動産価格査定サービスVALUEのように、不動産価格査定に力を入れています。今まで複数の方法を試してきた中で、今回はRubyからRを使って不動産価格査定を行う方法をご紹介します。 事前準備 ruby環境 R環境 価…

仲介会社と管理会社のマッチングサービス始めました

こんにちは、エンジニアの建三です。今までのブログでは主にノマドとノマドクラウドについてお話してきました。最近イタンジのもう一つの主要プロダクトぶっかくんのデータ解析をしたのでそのお話をします。 仲介会社と管理会社 不動産会社は仲介会社と管理…

機械学習でお客様の行動確率を予想してみた

こんにちは、エンジニアの建三です。今回も相変わらず機械学習に関するお話です。 前回のブログで顧客分析の話をしました。エンドユーザーが問い合わせから来店に進むかをアクセスログを使って予想するというものです。 同じことを弊社の自動追客&CRMツール…

スタートアップでよく使われるダッシュボードツール4製品を比較してみた

横澤です、いつもお世話になっております。 皆様ダッシュボード使ってますか?車の助手席にある引き出しではなく、サービスのKPI等を良い感じのグラフにした方のダッシュボードです。 こういう感じのヤツですね。 画像出典 イタンジのダッシュボードは色々と…

手間をかけずに実務で使えるクローラーの作り方

不動産テック勉強会#2でLTしてきました 先日不動産テック勉強会#2でLTしてきました。 登壇者の皆様お疲れ様でした。 また参加者の皆様足を運んで頂いてありがとうございました。 折角なのでその際話した内容を少しリライトしてUPしておきたいと思います。 基…

理論だけじゃダメ!機械学習を実務で活用する為に重要な4つのステップ

こんにちは、エンジニアの建三です。僕は大学時代に人工知能に興味を持ち、卒業後も機械学習を勉強していました。ただイタンジに入って業務で機械学習を使ってみて思うのは、勉強でやる機械学習と実務でやる機械学習にギャップがあるなということです。 機械…

インフラ監視体制を見直しているのだが、もう俺は限界かもしれない(注:タイトルは釣りです)

横澤です、いつもお世話になっております。 色々とあって苗字表記を今まで使っていた簡略表記の横沢から正式名称の横澤に切り替えています。過去ログは直すの面倒なのでそのままですが、誤表記ではないので気にしないでください。 本日はイタンジサービスの…

イタンジAIチャットのアーキテクチャ

こんにちは、エンジニアの建三です。 今回は弊社のAIチャットについて説明します。機械学習と自然言語処理を知ってる人向けに書いていますが、コードは使わずに全体の流れをざっくりとお話しします。 AIチャットって何? 弊社サービスのノマドではユーザーと…

お部屋探しBotをリリースして1週間たってわかったこと

こんにちは!エンジニアのナガシマです。 先日、お部屋探しBOTヘヤジイをリリースしたのですが。 お部屋探しBOTヘヤジイ|Facebookメッセンジャーのチャットで賃貸物件を探します。 「お部屋探しBOTヘヤジイ」は、条件をしゃべりかけるとお部屋を紹介してく…

データから駅の近似を探る、機械学習を用いた「似ている駅レコメンド」の作り方

[latexpage] こんにちは、エンジニアの建三です。イタンジに入社して3週間ほど経ちますが、主に機械学習を業務で使っています。 弊社のネット不動産ノマドでは、様々な条件を入力することにより理想のお部屋を探すことが出来ます。その条件の一つが最寄り駅…

Facebook Messenger Platformで画像検索BOTを作ってみた

こんにちは、エンジニア永嶋です。 先日、「LINE BOT APIを使って翻訳BOTを作ってみたよ!!」という記事でLINE BOTについて書きましたが今回はFacebookのBOT APIであるところのFacebook Messenger Platformを使って画像検索BOTを作ってみたのでまとめました…

同じ画像を判定するrubyスクリプト

こんにちわ、エンジニアのマイケルです 物件画像が重複することがよくあるのでrubyで判定するスクリプトを作成しました。 判定方法 ImageMagickを使います、具体的にはここに書かれていることをrubyからやります。 2枚の画像のdiff(差分)を超簡単に調べる…

LINE BOT APIを使って翻訳BOTを作ってみたよ!!

こんにちはこんにちは!エンジニアの永嶋です! LINEのBOT APIがtrialで公開されましたね! BOT API Trial Accountのご紹介 | LINE BUSINESS CENTER 運良く1万人の先着で登録することができたので翻訳BOT(日本語=>英語)を作って遊んでみました。herokuで公…

javascriptでアニメーション付けてリストを並び替えてみる

今日はjavascriptを使ってアニメーション付きでリストを並び替えてみたいと思います。 何が出来るのか up,downボタンをクリックするとアニメーションで移動し、移動したDOMを入れ替えます。 ※ chromeでのみ動作確認してるのでchromeで見てください See the P…

初期モーニング娘。のメンバーをプログラミング言語に喩えてみた

横沢です、いつもお世話になっております。 さて、今朝こんなニュースを見ていよいよプログラミングというのも一般に広く浸透する概念になってきたんだなぁと感慨にふけっておりました。 エンジニアの芸能事務所が発足、各プログラミング言語の担当アイドル…

rubyでFAXを自動送信してみる

こんにちわ、マイケルです。 今日はrubyを使ってFAXの自動送信をやったのでブログに書いておきます。 なぜやるのか 手動でfax送信するのがめんどくさいからです。 弊社では物件の内見を予約する際に管理会社様にその旨faxしていますが web上でフォームに内容…

10分で作るオンライン決済

こんにちわ、マイケル(日本人)です。 今からオンライン決済を作る必要があるエンジニアの皆さんに朗報です。 イノベーションです、これはすごい物が出てきましたよ。 その名もSPIKE!! 今日はSPIKEを使って10分でオンライン決済を実装したいと思います。 何…

twilioで描くコミュニケーションの進化

横沢です、ご無沙汰しております。 タイトルは例によって釣り気味です。 突然ですがtwilioって知ってますか? twilioというのは、一言で説明すると「電話にまつわる機能をAPI化してあれこれ出来ちゃう便利なサービス」です。 twilioって何それ?美味しいの?…