新しいサービスを試したつもりが、新しくなくなってしまった・・・

※この記事は 3 月末に書きかけてそのまま放置していたため、とても鮮度が薄れていることをご了承ください。

先日、自分の身の回りで大きな発表が 2 つありました。 1 つは DataSpider の Tegaki アダプタ(Labs版)、もう 1 つは gusuku Customine (プレビューリリース) です。

どちらも正式な製品化、サービス化の前段階ですがとても面白いものだと思います。

Tegaki アダプタリリースに合わせて Tegaki + kintone の環境を作っていて、 ちょうど「あったら便利だな!」と思う機能を gusuku Customine でカバーできそうだったので紹介させていただきます。

データ連携プラットフォーム「DataSpider」、AI による手書き帳票の読み取りクラウドサービス「Tegaki」をGUI のみで活用できる接続アダプタを開発

アールスリー、サイボウズkintoneのカスタマイズをブラウザだけで実現する「gusuku Customine」のプレビューを開始 | アールスリーインスティテュート

Tegaki とは

Cogent Labs 様が提供するサービスで、手書き帳票に書かれた文字を AI(人工知能)により高精度にテキストデータ化することが可能です。 Tegaki は REST API として提供されており、予め定義したフォーマットと画像ファイルを HTTP で送信すると、結果として読み取った文字列と信頼度を返してくれます。

www.tegaki.ai

gusuku Customine とは

kintone の画面周りのカスタマイズを、ロジックの組み立てだけでプログラミングを行わずに実現することが出来ます。 このサービスによって kintone 界隈での SI ビジネスに変革をもたらすと言われ、世の中を震撼させています。

gusuku Customine(カスタマイン) - kintone のカスタマイズをプログラミング無しで簡単に

Tegaki + kintone で実現したいこと

Tegaki を使って、画像内に含まれる手書き文字を読み取ります。Tegaki はかなり高精度の OCR 処理が可能ですが、100% の認識率ではありません。 そのため、読み取った内容はそのままシステムに投入するのではなく、一旦読み取った文字の確認を行って問題が無いデータをシステムに投入したいと思います。 この「読み取った文字の確認・修正」(ベリファイってやつですね)を行うためのインタフェースとして簡単にアプリ作成ができる kintone を使います。

作業の流れ

i . 読み取りたい画像の元データ(空っぽのデータ)を Tegaki Editor で編集し、フォーマット定義を保存します(json形式)。

f:id:dsstsukky:20180405124551j:plain

ii.Tegaki アダプタを使って、1で作成した json フォーマットと読み取りたい画像を Tegaki の API に送信します。

f:id:dsstsukky:20180405124941j:plain

iii.Tegaki API から戻ってきた文字列、信頼度を kintone アプリに格納します。

f:id:dsstsukky:20180405130646j:plain

以上の設定により

f:id:dsstsukky:20180405135803j:plain

このように kintone アプリに読み取った文字列と信頼度が格納されてます。

あとは、元画像と格納されたデータを見比べて読み取った文字列の修正を行います。 これだけでも大量の紙文書を電子化するためにとても役に立つと思いますがもう少しラクをしたいと思います。

gusuku Customine で補完

上記のように読み取った文字列、信頼度が kintone のレコードして格納されました。 このうち、信頼度が 95% を越えるものは「修正の必要なし」と判断したいと思います。 一方で、信頼度が 95% を下回るものは目視でのチェックを行った上で、問題がないデータのみをシステムに投入する流れにしたいと思います。

そのため、gusuku Customine ではこんな設定をしたいと思います。

f:id:dsstsukky:20180405132804j:plain

これによって Tegaki で OCR 処理を行った結果で信頼度が 0.9 未満のレコード・フィールドが赤で表示されるため、 色のついたフィールド(読み取り誤りの可能性が高いフィールド)を特に気をつけて修正作業を行うことができます。

kintone の画面イメージ

f:id:dsstsukky:20180405141809j:plain

あとは、最後に修正が終わったことを示すようなチェックボックス(ラジオボタン)を作っておいてWebhook で通知すれば、修正が完了したものを他システム(基幹システムとか CRM とか)に投入することができると思います。

全体の流れ

こんな形になりました。

f:id:dsstsukky:20180512173308j:plain

皆さんに伝えたいこと

手書き文書を電子化したい業務ってたくさんあると思います。 それをコーディングゼロで実現できる DataSpider + Tegaki + kintone + gusuku Customine って素晴らしくないですか???

リリースから 1 ヶ月以上経って鮮度が薄れてしまったので公開を止めようと思いましたが、IT Week でかなり反響が大きかったので公開することにしました。 少しでも皆さんのお役に立てれば幸いです。