CONTENTS
INTRODUCTION
専用機や人力を使わずにばら積み部品のピックアップを自動化
BEGINNING
日本の産業ロボット出荷額は世界一、その生産性・競争力のさらなる拡大を
BREAKTHROUGH
見えにくいところを見るためにプロジェクターでパターン照射
FOR THE FUTURE
生産ラインごとの過酷な製造環境にも対応FACE
研究者、起業家として3次元立体視に挑むロボット・AI・福祉機器
イノベーション実用化ベンチャー支援事業産業ロボットに見て考える機能を付加し
部品供給の自動化を実現する3次元ビジョンセンサー
株式会社三次元メディア
取材：October 2016
INTRODUCTION 概要
専用機や人力を使わずに
ばら積み部品のピックアップを自動化
日本のものづくりの生産性を飛躍的に拡大させた産業ロボット。しかし、ロボットと言っても産業ロボットは、いわば人間の「腕」の代わりをするもので、自らモノを見たり、それをもとに考えたりする機能はほとんどありません。立命館大学発ベンチャーである株式会社三次元メディアは、その産業ロボットの「目」と「脳」にあたる3次元ビジョンセンサー「TVS」シリーズを、NEDO「イノベーション実用化ベンチャー支援事業」（2013、2014年度）のもとで研究開発を行い、従来は、手作業に頼らざるを得なかった、ばら積み部品のピッキング作業の自動化を実現しました。「TVS」シリーズは現在、自動車メーカーや家電メーカーなど100社以上で採用され、生産ラインで活躍しています。
BIGINNING 開発への道
日本の産業ロボット出荷額は世界一、
その生産性・競争力のさらなる拡大を
いわゆる〝第3次産業革命〟以降、工業製品を中心とした製造現場ではオートメーション化・機械化が進んできました。日本では1970年代以降に産業ロボットの開発と導入が進み、製造環境を大きく変え、経済成長の原動力となりました。
日本の産業ロボットは、その後も需要・供給の両面で大きく飛躍し、世界に知られる「ロボット大国」となっています。「ロボット普及元年」と呼ばれる1980年から現在に至るまで、日本の産業ロボット出荷額は世界一で、世界シェアも約5割を占めています。また、現在、世界で稼働している日本製の産業ロボットは約30万台を数え、全産業ロボットの23％にあたります。
1990年代以降はバブル崩壊やリーマンショックなどの影響によりロボットの出荷台数は停滞気味でしたが、2010年代に入ってからは年間出荷台数10万台規模を維持しています。現在政府では「ロボットによる新たな産業革命」を掲げ、激化する海外ロボットメーカーとの競争に打ち勝つための施策を充実させています。（参考資料：NEDO ロボット白書2014）
産業ロボットに「目」と「脳」の機能を持たせる
工場の生産ラインで働く産業ロボットは、部品の移動や溶接、組み立て、加工などさまざまな役割を担っていますが、あらかじめ決められた位置情報に基づいて動く「腕」しか持っていませんでした。
というのも、これまではどれだけ産業ロボットの導入で生産ラインが自動化されていても、ロボットには「目」や「脳」の機能がないため、ロボットに覚えさせた動きに合わせて部品が並んでいないと、誤作動してしまうからでした。ばら積みになった部品の山を「見て」、その中からどの部品を、どのように持ち上げればよいかを、自ら「判断」して作業するようなことは、従来の産業ロボットではできないことでした。
株式会社三次元メディアではこうした生産現場のニーズに着目し、産業ロボットに「目」と「脳」の機能を加えようと研究開発に取り組みました。それが世界初の〝3次元ビジョンセンサー〟となる、「TVS」シリーズです。
同社研究開発部長の仲道朋弘さんは、「ヒトがロボットに合わせて部品を生産ラインに整頓して並べるという工程を減らしてしまうことを目指しました」と言います。
「この人力作業の手間や負担は意外と大きく、弊社の取引先のある鍛造メーカーの場合、原材料である10kgの鉄の塊を人力によって整える必要があり、数カ月もするとその担当者たちが次々に腰痛を訴え、長期間従事することができない、という悩みを抱えていました。人的負担を軽減するためには、ばら積みされた部品の向きを揃える専用機をラインに組み込むことも考えられますが、それでは製造品や扱う部品が変わるたびに、専用機を作り直すことになりかねず、効率的とは言えません」（仲道さん）
写真1 従来の生産ラインでは人手または専用機を使ってばら積みされた部品を整理する必要があったが、「TVS」シリーズを導入することでばら積みのままで部品をピックアップできるようになる
もし、こうした部品整頓の事前準備が不要になれば、人件費や専用機のコスト削減に加え、作業時間の大幅短縮にもつながります。また、人間が重労働や危険作業に関わるリスクを低減することもできます。三次元メディアではそう考え、小型カメラでばら積みされた部品の山を撮影し、3次元的に部品の位置・姿勢を捉え、産業ロボットが独自にかつ正確に部品をピッキングできるようにすることを目標に、研究開発に取り組みました。
全自動の車体計測からはじまり、
世界初の分野に踏み出す
同社代表執行役社長の徐剛さんは、中国出身で1983年に来日、大阪大学大学院で「3次元立体視」について研究、博士号を取得。その後は、大阪大学講師を経て、立命館大学助教授（2001年に教授）となり、2000年に大学発ベンチャーとして、有限会社三次元メディアを設立しました（2001年に株式会社に登記変更）。
徐さんは起業当初、専門である「3次元モデリング」と「計測技術」の二つの技術分野を事業の柱に据え、全自動の工業用計測システムの開発と販売を行っていました。
その代表例は車体測定システムで、4台のカメラを使って自動車の車長、車幅、車高などを±10mm以内の精度で計測できるものでした。この装置は注目を集め、全国の自動車検査場に続々と導入されていき、現在も多くの自動車検査場で〝車検〟に活用されています（図1)。
図1 徐さんが開発した自動車の全自動計測システムの概念図（画像提供・三次元メディア）
計測システムの成功の一方で、徐さんはより大きなビジネスチャンスを模索していました。そして、産業ロボットと計測システムを組み合わせることができれば、大きな市場を創出できるにちがいないと、考えるようになりました。
「当時、すでにばら積み部品のピッキング問題を解決しようと研究開発を実施している企業は多数ありましたが、なかなか成功には至っていませんでした。もし、世界で初めてそれに成功できれば、利益は大きくなるだろうと考えました。それからロボットの〝目〟に特化して研究開発を進めるようになりました」（徐さん）
学術分野の研究で培った「知恵」と「人材」が、
実用化・事業化の鍵
「TVS」シリーズの基盤となっている技術は、徐さんが来日以来研究を続けてきた「3次元画像処理」にあります。そのおおまかな原理は、2台のカメラで撮影した部品の山に現れた輪郭と、あらかじめ入力された3D-CADから作成したデータを照合することで、個々の部品の位置を正確に把握するというものです（図2）。
図2 「TVS」による部品の3次元（輪郭）計測（画像提供・三次元メディア）
ただしこの認識方法では、ばら積みされた部品の位置と向きに対して、それぞれ「縦」「横」「高さ」という３方向からの演算処理が必要になります。そのためスーパーコンピュータ並みの計算能力がないと迅速な処理は困難とされてきました。
三次元メディアでは、その複雑で膨大な演算処理を独自のアルゴリズムにより圧縮し、パソコンでの処理をも可能にすることに成功していました。この独自アルゴリズムこそが同社の最大の強みであり、誰もがなしえなかった産業ロボット用の〝目〟を、世界に先駆けて実用化できた理由です。
多くの企業が同じような研究をしてきた中で、三次元メディアだけが世界初となる技術を確立できたのはなぜかという問いに、徐さんはしばしば、大学研究ならではの時間をかけて蓄積した「知恵」と、若い「人材」があったから、と答えています。事実、三次元メディアの開発担当者には、徐さんが教授を務める研究室出身者が多く在籍しています。数理的思考やアルゴリズムに強いメンバーが勢ぞろいしていて、年齢は若くとも、「TVS」開発を進める上での即戦力、欠かせない人材として、その能力を思う存分に発揮しています。
初号機である「TVS1.0」がリリースされたのは2011年3月。2012年12月には、環境変化（明るさ）に自動追従して最速１秒以下（認識サイクルは0.8秒）での3次元認識が可能など、性能を大幅に向上させた「TVS2.0」がリリースされました。
写真2 歴代の「TVS」シリーズ。「TVS1.0」（上）、「TVS2.0」（下）。
「1.0」と「2.0」は人間と同じ二つの目でモノを認識する（画像提供・三次元メディア）
BREAKTHROUGH プロジェクトの突破口
見えにくいところを見るために
プロジェクターでパターン照射
「1.0」から「2.0」へとバージョンアップし、処理の精度・速度ともに向上した「TVS」シリーズでしたが、それでもなかなか克服できない「弱点」がまだありました。
ピッキングする部品同士が重なり合うと、どうしても認識できない部分が生じてしまうことでした。三次元メディアでは、その弱点克服のため、2013年にNEDO「イノベーション実用化ベンチャー支援事業」に応募、採択され、克服方法の研究開発に着手しました。
「TVS」が認識できない部分が生じてしまう主な原因は「1.0」も「2.0」も部品を「輪郭」で認識しているためでした。そこで開発メンバーは知恵を出し合い「TVS」の〝目〟が個々の部品を認識するために、プロジェクターでしま状のパターンを、ばら積みの部品上に投影する方法を考え出しました。
「TVS」のカメラがパターンの状況から部品の山の「点群情報」を計測し、従来からの「輪郭抽出」で計測した情報と照らし合わせることで、各部品の位置や姿勢をよりはっきりと認識できるようにすることが、ねらいでした（図3）。
図3 「TVS3.0」の3次元認識の仕組み。模様を照射した状態で撮影・認識した表面の情報と輪郭の情報を組み合わせ、あらかじめ入力されている部品の3次元CAD情報と照合する（資料提供・三次元メディア）
仲道さんは、「パターンを照射して表面の点群情報を計測するという方法自体は古くからある手法ですが、どのような模様がばら積み部品の点群計測に適しているかを探り出すことが課題でした」と説明します。
「最終的に採用したパターンにたどり着くまでは試行錯誤の連続で、3次元的に表面形状を計測するのに適したパターンを模索し続け、結果的に現在の〝しま状〟パターンに落ち着きました」（仲道さん）
また、このパターン照射は、部品どうしが重なり合う場合以外にも、光沢のある金属製部品の認識にも役立つことがわかってきました。
従来、部品それぞれが複雑な反射光を放っているような状態では、２台のカメラの輪郭だけでの正確な３次元認識が困難でした。しかし、パターンを投影することで、光沢部品に加え、黒く明暗が少ない部品や透明な部品でも、高精度に位置や姿勢を認識できるようになりました。「線」のみで捉えていた従来バージョンの苦手分野を見事に克服することができました。
写真3 プロジェクター・パターンを照射した状態（左）、認識結果表示（右）上部に設置されたプロジェクターから模様（しま）を照射。パターンは1種類だが、対象となる部品の形状や材質などに応じてパラメータ調整が可能
認識に3時間！ 処理時間の大幅短縮化が必要に
ただし、別の問題も生じてきました。パターン照射を組み合わせることでピッキング精度は高くなるものの処理するデータが膨大になり、処理時間がとてつもなく長くなってしまったのです。
ばら積み部品の〝山〟を正確に認識しようとすると、「TVS」は〝山〟全体を一度に撮影できないため分割して撮影・計測することになります。当然、その分割分だけ演算回数が増えてしまいます。また、〝山〟の中の部品一つ一つの位置や向きの可能性は無限に存在します。その結果、プロトタイプ初期での実験では、始動ボタンを押してから「TVS」が認識を完了するまでに、なんと3時間もかかってしまうことさえありました。
仲道さんは、「これでは使い物になりませんので認識時間の短縮化に取り組んだのですがなかなかうまくいきませんでした。ただ、しばらくしてくると生産工程では、できるだけ速く部品をピッキングすることが重要で、最終的に見落としさえなければ、最初から〝山〟全体を高精細に認識する必要がないことがわかってきました」と言います。
「そこで部品の〝山〟の一部を粗めに撮影・計測・認識し、それでもきちんとピッキングできるようにシステムを再構成しました。そうしてみると無駄や重複する計算が多いことも次第に判明してきて、最終的には3秒程度まで認識処理時間を短縮できるようになりました」（仲道さん）
現場の状況に合わせて使い勝手の良さを追求
「すでに普及されている産業ロボットで使えること」を大前提に設計された「TVS」シリーズの開発コンセプトを受けて、「3.0」も機能や精度がアップしてもシンプルなシステム構成は踏襲されています。4台のカメラとプロジェクターがシンプルなビジョンヘッドに組みつけられていて、どんな産業ロボットとも組み合わせることが可能となっています（図4、写真4）。
図4 「TVS3.0」の3次元認識の仕組み。模様を照射した状態で撮影・認識した表面の情報と輪郭の情報を組み合わせ、あらかじめ入力されている部品の3次元CAD情報と照合する（資料提供・三次元メディア）
写真4 4台のカメラを備えた「TVS」シリーズの最新型「3.0」（左）、その産業ロボットとの組み合わせ例（右）
また「TVS」シリーズは、150mm、300mm、600mm、1200mmとピッキング範囲を変更することで、小型から大型まで幅広いサイズの部品ピッキングに適用できるようになっています（図5）。
バージョン1.0から3.0へと、実際に導入された製造現場のフィードバックを受けて改善を繰り返す研究開発方法について、徐さんは次のように説明します。
「『TVS』は、どのバージョンもユーザーの要望に従って常に改良と開発を並行して継続する〝スパイラルモデル〟という研究開発スタイルで改良を重ねてきました。そうしたモデルが円滑に進行できたのは、NEDOプロジェクトに採択されたことも大きいと感じています。開発速度が加速するとともに、ユーザー企業などとのネットワークも格段に広げることができました。今後も、このモデルに従って、技術と性能の向上を目指していくつもりです」
図5 ピッキング範囲を変更することで様々な大きさの部品のピッキングが可能（資料提供・三次元メディア）
FOR THE FUTURE 開発のいま、そして未来
生産ラインごとの過酷な製造環境にも対応
どんなロボットとも組み合わせ可能であることは、あらゆる環境に適応できる耐久性が必要となることも意味しています。ロボットが設置されている状況は生産ラインによって実にさまざまです。きつい・汚い・危険な環境や寒暖差の大きい過酷な環境でも正常に動作することが求められます。
そうした過酷環境のなかでも、一番の誤作動の原因と想定されたのがプロジェクターの汚れでした。工場内に舞う粉じんなどをプロジェクターが吸い込むと、照射されるパターンが暗くなってしまい、きれいなしま模様を映し出さなくなってしまいます。
そこで、三次元メディアでは、NEDO「ロボット活用型市場化適用技術開発プロジェクト」で筐体などの改良に取り組み、プロジェクター筐体の密閉とともに、排熱のための空冷ファン取り付けなどの改良を「3.0」に加えました（写真5）。
写真5 レンズ（上段左）、プロジェクター部（上段右）、空冷ファンには制御盤などに使われる汎用品を使用してコスト削減を図っている（下段左）、ビジョンヘッドを下から見上げた状態、中央の黒い部分がプロジェクター（下段右）
全ロボットメーカーとの協力を得てwin-winの関係を築く
「TVSシリーズ」の開発には、徐さんが大学院時代以来研究してきた3次元物体認識が大きな力となっています。この3次元物体認識技術に価値を見いだす従来企業も当然多くあり、起業以来、徐さんへ独占的な提携関係を求めて来る場合も少なくありませんでした。
しかし、徐さんは起業当初から「特定の会社だけとの独占的提携をしない」ということを事業方針としてきました。その理由について徐さんは、「例えば『TVS』が有力なメーカー１社のロボットに搭載されたとしても、それだけではこの技術が社会に広がっていくことにはつながらないと考えたからです」と言います。
「私たちが目指しているのはあらゆる産業ロボットに『TVS』を設置して国内外の製造業を革新することです。その目標にむけて競合する複数企業にも同じ技術を提供しています。高い目標があれば互いにwin-winの関係を築くことは可能だと思っています」（徐さん）
事実、三次元メディアではすでに国内の主要ロボットメーカーと連携済みで、各社の制御言語にも対応、生産現場に導入するユーザー企業は、汎用のロボットペンダントを使って「TVS」の設置と操作が可能になっています。現場環境に合わせた認識パラメータを調整さえすれば、既存のどの産業ロボットにも短期間で導入することができます（写真6）。
写真6 ハンディ操作器。既存のロボットペンダントで操作できる上、３次元マッチングの様子はリアルタイムにモニタで確認できる
ベンチャー精神を失わず世界のマーケットに挑戦する
立命館大学発ベンチャーとしてスタートした三次元メディアは、設立からしばらく大学のインキュベーションオフィスを拠点としてきましたが、2011年9月にJR南草津駅前に本社を移転。2015年には、埼玉県に関東営業拠点、愛知県に中部営業拠点を設立し、着実に販売網を拡大しています。
製品としては、2011年の「TVS1.0」発売以来、現在までに自動車、自動車部品、鉄鋼、家電、食品、建材など100社以上で採用され、現在もユーザーは増え続けています。一方、生産現場での導入事例が増えるにしたがって新たな課題も見つかり、その課題を克服するために常にバージョンアップを繰り返す〝スパイラルモデル〟の実践を続けています。
仲道さんは、「私たちの技術は常に開発途上です。例えば今は認識パラメータの調整をするのに私たちの手が必要ですが、いずれは自動化して、ほかにも手間がかかるところがあるので、そうしたところも含めてシステム化して、文字どおり誰でも扱えるような装置になったとき、本当に事業化に成功したといえるのだろうと思っています」と語ります。
写真7 ばら積み部品ピッキングのデモ。現在「TVS」シリーズの導入企業は100社を超える
徐さんはプロジェクトを振り返えるとともに、将来に向けた意気込みを、つぎのように語ります。
「NEDOプロジェクト以前は、ローカルな補助金に頼るしかありませんでしたが、NEDOの『イノベーション実用化ベンチャー支援事業』に2年続けて採択され、さらに翌年からはものづくり分野の「ロボット活用型市場化適用技術開発プロジェクト」にも採択されるなど、継続して支援を受けることができています。そうした支援により、産学官とのネットワーク構築や情報交換も活発にすることができました。そうした経験からNEDOプロジェクトには、資金援助以上の価値があると思っています」
「また、産業革新機構からの出資や、第13回産学官連携功労者表彰・経済産業大臣賞を受賞するなど、対外的な評価が高まった背景にも、NEDOプロジェクトの影響があったと感じています。これまで弊社が支援を受けてきたNEDOプロジェクトは、いずれも事業化に成功しています。現在の取り組みも必ず将来につなげていくつもりです」
「弊社では、『2040年までに出荷100万台』という壮大な目標を掲げていますが、世界規模の企業になったとしても、創業から現在に至るベンチャー精神を失わず、成長し続けていきたいと考えています」
開発者の横顔
研究者、起業家として3次元立体視に挑む
2000年に三次元メディアを設立した徐さんは、独自の3次元立体視アルゴリズム開発者であるとともに、トップセールスを行う〝営業マン〟としてユーザー間も飛び回っています。
「私が3次元立体視の研究を始めたころは、演算をするのにスーパーコンピュータが必要で、その時点で研究開発を断念した企業や研究機関も多数ありました。でも、私は何度失敗してもあきらめませんでした」
「資金調達などで苦労することもありましたが、半導体の進化もあって、パソコンでも3次元立体視が演算できるようになり、『TVS』の開発に至りました。まだまだ課題はありますが、できないことができるようになるまで、あきらめずに尽力していきます」
株式会社三次元メディア
取締役 代表執行役社長
徐 剛さん
大学時代から参画し、国内営業なども担当
仲道さんは、立命館大学在学中に徐さんの研究室に在籍。一度は別の進路を検討するも、ベンチャーでの挑戦に魅力を感じ、三次元メディアに2010年に入社。現在は、開発、営業の双方で幅広く活躍しています。
「大学生のときは映像系の研究に興味があり、数学などなんの役にも立たないと思っていました。しかし、研究室時代に3次元立体視の面白さに出会い、道具としての数学の大切さを知りました。入社して、メンバーと共に開発した「TVS」が実際に生産現場で動いているところを見たときは、自分たちの技術が、多くの人の役に立っていると実感できました。今後は、新市場の創成という大きなミッションにも挑戦して行きたいと思っています」
株式会社三次元メディア
執行役 研究開発部長
仲道朋弘さん
なるほど基礎知識
３次元復元とは？
私たちは視覚を通じてさまざまな情報を得ています。その仕組みの一つが、2次元の網膜に映った世界を脳によって3次元に変換して理解する方法です。その変換は一種の〝情報処理〟に当たり、コンピューターでも再現は可能であるとの考えから「3次元復元」技術は始まっています。
「3次元復元」は、動物の知覚と同様に複数の2次元画像から対象とする物体の形状や状態を〝復元〟していきます。ものの形は、3次元空間の点、線、面などによって構成されています。そのため数値で記述することが可能です。この数値を測り、計算して形や位置や向きを理解（復元）するのが「3次元復元」です（図6）。
図6 3次元復元の仕組み（画像提供・三次元メディア）
動物はこの〝復元〟を無意識にかつ瞬時に行うことができますが、その計算の方法やハードウエアとなる〝目〟の仕組みや機能についてすべてが解明されているわけではありません。しかし、「3次元復元」では、コンピューターも同じことを再現しなくてはならず、それがこの技術の困難な点になっています。
NEDOの役割
「イノベーション実用化ベンチャー支援事業」
（2013～2014年度）
（NEDO 内担当部署：イノベーション推進部）
日本の経済再生には、新たな事業・雇用創出等の核となることが期待される研究開発型ベンチャー企業等による技術開発成果の実用化を推進していくことが重要です。しかし、研究開発型ベンチャー企業等にとって、実用化開発は事業化に至る前の非常にリスクの高いフェーズです。そのため、ＮＥＤＯは、研究開発型ベンチャー企業等の有する優れた先端技術シーズや有望な未利用技術を活用した実用化開発を支援することにより、リスクを低減させ、研究開発成果を迅速に実用化・事業化に結びつけ、新規事業・雇用の創出等を促進することを目的として本制度を実施しました。実施に当たっては、実用化開発を行う研究開発型ベンチャー企業等から広くテーマを公募し、イノベーションの強化に資する優れた提案を選定しました。
株式会社三次元メディアは、2013～2014年度に本制度にて研究開発を行い、重なり合う部品の認識や光沢部品の認識も可能な産業ロボット用3次元ビジョンセンサー「TVS3.0シリーズ」を開発しました。
関連プロジェクト
お読みいただきありがとうございました。
ぜひともアンケートにお答えいただき、
お読みいただいた感想をお聞かせください。
いただいた感想は、
今後の連載の参考とさせていただきます。